Google обновил инструмент анализа robots.txt

Google обновил фитчу проверки файла robots.txt в инструментах для вебмастера. Новый robots.txt работает в разделе «Сканирование» , его просто найти в левом меню в личном кабинете вебмастера.

Новая тузла легко справляется с проблемой поиска прописанных директив, которые блокируют конкретные URL-ы в массивных файлах robots.txt.

Свежая версия robots.txt умеет:

• определить, в какой строке программного кода описаная страница закрыта от индекса;
• проверить все изменения, внесённыые в файл robots.txt перед загрузкой;
• обеспечивает просмотр загруженных ранее версий файла robots.txt для отслеживания, если вдруг появился запрет сканирования роботом Google;

Специалисты компании Google советуют производить повторную проверку файла robots.txt, применяя собственные инструменты сервиса Webmaster Tools:

например, функцию "Посмотреть как Google сканирует сайт" в разделе «Сканирование» (Crawl), это позволяет вебмастеру смотреть страницы сайта, содержащие изображения, файлы CSS и JavaScript.

Предупреждение: если Googlebot обнаружит внутреннюю ошибку сервера 500, появляющуюся при изменении файла robots.txt, Google автоматом прекратит сканирование вашего сайта.