Довольно часто возникает ситуация, когда новые страницы в поисковых системах долго попадают на первые страницы в выдаче.
Этот процесс на самотек отпускать крайне нежелательно, если, конечно, времени не вагон или попадание сайта в топ не входит в ваши ближайшие планы (тогда зачем он вообще нужен?).
Самый простой способ проверить проиндексированные страницы в кеше поисковой системы – набрать в строке поиска site:https://название-сайта(выдача, соответственно для Google и Яндекс будет отличаться).
Как появляются нежелательные страницы.
Самая частая причина – это изменение структуры сайта. Достаточно поменять корневую папку с фотографиями для портфолио, например, и поисковый робот понаделает в выдаче клонов с одинаковым контентом, но разными URL.
Другая ситуация, перенос сайта на другой домен. Закрытие старого домена не поможет предотвратить дублирование содержимого, данные в кеше будут "болтаться" еще долгое время. Поэтому, в данном случае, наилучший способ – это настройка переадресации, либо средствами движка сайта, либо внесением изменений в файл .htaccess (301 Redirect).
Инструменты разработчика в Google и Яндекс.
Как действовать дальше? Используем сервисы поисковых систем для вебмастеров. В Панели иструментов Google это Индекс Google > Удалить URL-адреса, в Яндекс.Вебмастер – Инструменты > Удалить URL.
Ну и контроль, естественно. На следующий день также проверяем кеш поисковика, подчищаем остатки. У Google в этом плане возможностей больше. По ссылке можно посмотреть статус удаления добавленных URL. При необходимости, повторяем процедуру.
Заблокированные ресурсы в панели вебмастера.
Обратная ситуация – излишняя "деликатность" поисковых роботов. На собственном опыте это было замечено за Googlebot. В чем это выражается? Отчего то в подраздел Заблокированные ресурсы (тот же раздел – Индекс Google), попали файлы стилей, скриптов и фотографии, причем со всех страниц. Причин для этого не было, запретов на индексацию тоже, а число таких ресурсов со временем увеличивалось. Сразу произошло сокращение числа переходов из поисковых систем.
Ситуация выправляется внесением правок в файл robots.txt. Ссылки на ресурсы, которые бот не может загрузить, можно просмотреть, кликнув на строку таблицы. Примеры записей:
Allow: /assets/css/*.css
Allow: /assets/js/*.js
Allow: /assets/img/*.jpg
Allow: /assets/img/*.png
Allow: /assets/img/*.svg
открываем файлы стилей, скриптов и картинок, уже принудительно. Либо:
Allow: /assets/css/
Allow: /assets/js/
Allow: /assets/img/разрешаем роботу доступ к этим папкам, без указания расширений файлов.
