Анализ карты сайта при конкурентной разведке

Недавно мы задались целью понять, помогает ли sitemap в анализе конкурентов и, после тестов, поняли, что для неподготовленного пользователя (читай – не программиста) пользы от анализа карты сайта нет практически никакой.

И вот почему:

Есть десятки других инструментов, чтобы узнать много интересного о конкурентах: проанализировать количество страниц в выдаче, посмотреть объемы в контексте и даже немного подглядеть ключи — с поправкой на то, что только 90% результатов будут достоверными.
Карта сайта есть не у всех. Многие модные оптимизаторы в последнее время вообще не используют сайтмап, понимая, что современный поисковой движок гораздо умнее какой-то статичной карты. Их лозунг: создай сайт для людей, а индексация сама подтянется, и вряд ли это можно назвать заблуждением.
То, что URL есть в карте сайта, совсем не значит того, что он будет в индексе. 100% индексации для интернет-магазина с десятками тысяч товаров, статей, новостей — явление, в принципе, нереальное. И тут вопрос: зачем вам что-то знать о страницах, которые даже поисковик считает непригодными для выдачи? Или, например, зачем вам понимание, сколько новостей было на сайте интернет-магазина с 2005 года?

Еще материалы на тему карты сайта:

Что можно понять, анализируя карту сайта конкурента

Если внезапно стать мастером Python3 (не ниже Middle), освоить многопоточный парсинг с обходом капчи, вложить в индексацию и анализ карт пару недель времени, можно узнать следующее:

Количество товаров, новостей, статей конкурента, частоту обновления разделов, количество материалов в месяц. Догадываемся по URL, бьем на группы, получаем результаты.
Самые частотные слова из URL-ов — их можно добыть, используя семантический анализ.
На каких сайтах и языках больше всего контента в отрасли.
Сколько страниц из карты сайта содержится в индексе поисковой машины, какие страницы она игнорирует. Для этого придется сравнить актуальный индекс с содержимым сайтмапа, что может занять много времени, если карты большие.

Реальная польза сайтмапа

Если отобрать 5-10 самых активных конкурентов, судя по поисковой выдаче, открыть их sitemap.xml и посмотреть структуру ссылок — можно сделать некоторые выводы. Например, как отображаются категории «сайт.рф/категория/товар» или «сайт.рф/категория/подкатегория/товар» или вообще «сайт.рф/товар», то же можно понять относительно новостей, информации, других разделов.

«Копируй лучшее» — лозунг SEO-специалистов уже много лет. Отсюда, если большая часть сайтов использует какое-то решение – его, с большей вероятностью, стоит использовать и вам.

Воспаленный мозг может придумать еще с десяток способов использования сайтмапа, но зачем? Есть десятки более дешевых и менее ресурсозатратных способов проанализировать конкурента. Также стоит помнить что анализ карты сам по себе бесполезен, его стоит использовать только совокупно с иными методами — например, имея индекс поисковиков по конкуренту.

Вывод: не стоит использовать карту сайта для анализа конкурентов, только если у вас нет лишних программистов, сеошников, дата-саентистов и пары десятков (если не сотен) часов свободного времени.

Ну или если вы не знали, что проанализировать карту сайта можно “визуально”. То есть можно закинуть ссылку на интересующий сайт в краулер, и дождаться результата. Магия! (на самом деле не магия, а технологии)

Это не шутка, действительно появился инструмент, который умеет визуализировать сайтмапы. Почитать про механизм работы можно по ссылке.