Согласно предоставленной Google информации, для того, чтобы поисковая система увидела контент сайта, веб-мастерам следует, помимо использования файла карты сайта XML, предоставлять ленты в формате RSS Atom и использовать протокол PubSubHubbub.
Функция карты XML — передача Google информации обо всех страницах сайта; функция ленты RSS/Atom — обеспечение всех обновлений на сайте, что поможет поисковику хранить в своем индексе свежий контент. Дополнительно позитивную роль сыграет уведомление Google о новых URL-адресах, что можно сделать с помощью файлов, использующих пинги карт сайта либо протокол PubSubHubbub (для быстро индексируемых сайтов — например, для новостных — такой необходимости нет, но и повредить использование протокола PubSubHubbub им не может).
Напомним также, что 1 октября текущего года аналитик Google Гэри Илш во время выступления на ежегодной конференции SMX East-2014 (Gary Illyes) открыл секрет замедления или остановки сканирования сайтов, рассказав о двух технических факторах сайта, выполняющих для Google роль сигналов сканирования (это Connect Time и HTTP Status Codes).Бесплатные шаблоны для 10.5Forex Портал для чайников