Июнь
Карта сайта - Sitemap
Структура и технологии используемые при построении современных вебсайтов настолько сложны, что поисковым системам не всегда удается четко и точно определить структуру сайта и проиндексировать все страницы сайта спрятанные в самых дальных уголках или защищенных паролями.
Для решения этой проблемы современные поисковые системы Google и Яндекс позволяют загрузить карту сайта в виде файла XML Sitemap для последующей индексации этих страниц, дополнительно предоставляя вебмастеру возможность анализа и мониторинга процесса индексации и получение результатов индексации.
Sitemap позволяет поисковикам более качественно индексировать сайты, Sitemap - это своего рода карта сайта в файле sitemap.xml. Для каждой страницы вашего сайта необходимо указать ее url, дату последнего изменения, что необходимо для переиндексации, степень важности страницы или приоритет для индексации и частоту изменения. В итоге благодаря такому формальному описанию поисковая система лучше и быстрее обеспечивает индексацию страниц, а вебмастер получает подробные отчеты о том каким образом робот поисковых систем Яндекс и Google обходит страницы сайта, типовые отчеты, статистика запросов, статистика сканирования, анализ страниц, статистика индекса. После генерации файл sitemap.xml (или с другим именем) необходимо поместить в корневую директорию сайта, после чего, находясь в разделе вебмастер Google или вебмастер Яндекс, достаточно выбрать “добавить sitemap”.
Необходимо заметить, что добавление url страницы в файл sitemap.xml, не означает, что поисковая система безусловно проиндексирует эту страницу, возможен вариант, когда по причине определенных критериев страница не будет добавлена в индекс.
Протокол файла sitemap.xml, приведен пример со ссылкой на одну страницу:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.google.com/schemas/sitemap/0.84">
<url>
<loc>http://web-sam.narod.ru/</loc>
<lastmod>2008-30-06</lastmod>
<changefreq>monthly</changefreq>
<priority>0.8</priority>
</url>
</urlset>
Формат файла соответствует спецификации XML: начальные две строки - это заголовок файла описывающие формат Sitemap, <urlset> инкапсулирует файл и указывает версию стандарт протокола. Для описания страниц используются следующие тэги:
- <url> - родительский тег для каждой записи URL, с него начинается описание отдельного URL
- <loc> - URL адрес страницы, не более 2048 символов в длину
- <lastmod> - дата последнего изменения страницы в формате W3C Datetime
- <changefreq> - частота изменения:
- always (всегда)
- hourly (ежечасно)
- daily (ежедневно)
- weekly (еженедельно)
- monthly (ежемесячно)
- yearly (ежегодно)
- never (никогда)
- <priority> - приоритет страницы между другими страницами сайта для индексации: от 0.0 до 1.0, нормальным считается значение 0.5
Кроме того Sitemap могут быть использованы для передачи информации об определенного типа URL:
- файлы Sitemap для видео;
- файлы Sitemap для мобильных устройств;
- файлы Sitemap для новостей;
- файлы Sitemap для поиска кода.
Если у вас небольшой сайт, то карту Sitemap можно создать в любом тестовом редакторе, хотя легче это сделать в специальном редакторе с поддержкой XML (хороший выбор Notepad++), файл должен быть сохранен в кодировке UTF-8 с именем sitemap.xml.
Для больших и сложных сайтов необходимо использовать специализированное программное обеспечение.
Google предоставляет скрипт Sitemap генератор, для его работы на веб-сервере должена быть установлен Python, скачать sitemap_gen.
Для небольших и среднего размера сайтов до 1000 ссылок, можно воспользоваться бесплатными онлайн сервисами по созданию Sitemap, принцип работы онлайн сервисов по созданию Sitemap следующий: скачивается начальная страница, производится поиск и парсинг ссылок на ней, далее производится скачивание эти страниц и процесс повторяется, найденные ссылки помещаются в sitemap.xml, по завершению генерации предлагается скачать полученный файл sitemap.xml, либо он может быть отправлен на почтовый ящик.
- sitemaps-builder.com - создает файл Sitemap содержащий до 1000 ссылок
- xml-sitemaps.com - генерирует Sitemap файл до 500 ссылок
- sitemap.xmlecho.org - для работы требуется бесплатная регистрация в сервисе, после чего можно автоматически создать карту сайта в виде XML Sitemap, который затем можно скачать и так же он отправляется на почтовый ящик, затем можно загрузить полученный Sitemap в поисковую систему для индексации
Еще один вариант решения с Sitemap можно использовать в том случаи если у вас динамический сайт - возложить обязанности не генерацию Sitemap на сам сайт, к примеру создает скрипт на php - sitemap.xml, который выдает из БД адреса всех страниц сайта и проставляем им актуальную дату изменения, либо осуществляет сканирование файлов сайта по директориям и получает дату последнего изменения файлов, на основе полученной информации возвращается sitemap.xml.
