Создание Robots.txt

Robots.txt представляется собой обыкновенный текстовый файл, который располагается в корневой папке Вашего ресурса. Данный файл содержит в себе инструкции для роботов-поисковиков.

Создание Robots.txt

Смотрите полный видеокурс на iTunes

Создание Robots.txt поможет запретить индексацию конкретных страниц и подразделов Вашего сайта, кроме того, указать основное зеркало ресурса, а также «проводить» к файлу sitemap. Рассмотреть выгоду Robots.txt можно на примере, когда Вы желаете закрыть от индексации технические разделы ресурса. Если такие разделы являются открытыми, то поисковик сделает попытку выкинуть их из индекса. Однако, может произойти такая ситуация, когда робот ошибочно выбросит нужные и полезные страницы. Создание Robots.txt осуществляется при помощи инструмента «Блокнот». Этот файл необходимо обязательно поместить в корневой каталог ресурса. Чтение файла с инструкциями является первым шагом при заходе робота-поисковика на Вашу страницу.

Настройка Robots.txt

Для настройки данного файла используют две директивы – User-agent и Disallow, которые являются основными. Первая директива определяет поискового робота, выполняющего запрет на индексацию, который прописан во второй директиве. К примеру, для того, чтобы инструкция запрещала абсолютно весь ресурс к индексации для всех поисковых систем, она должна выглядеть так: Usеr-agent:* Disallоw:/. После Disallow требуется прописать путь к папке, и в этом случае робот перестанет индексировать страницы. Запомните одно правило: ни в коем случае нельзя в одной строке прописывать несколько путей, ибо такая строка работать не будет. Команда Allow поможет Вам открыть какой-либо файл или директорию для индекса.

Помимо основных существуют еще и дополнительные директивы. Рассмотрим их.

1. Host. Данная директива используется при наличии на Вашем ресурсе нескольких зеркал. Она указывает на главное зеркало, которое будет непосредственно присутствовать в поисковой выдаче.

2. Sitemap. Эта директива представляет собой команду, помогающую определить поисковому роботу, где находится файл с картой ресурса.

3. Crawl-delay. Такая директива применяется роботом-поисковиком для задержки между загрузкой страниц ресурса. Она является очень полезной для сайтов с большим количеством страниц. К примеру: для задержки в 6 секунд устанавливаем команду Crawl-delay: 6.

4. Request-rate. Эта директива отвечает за то, с какой периодичностью поисковый робот загружает страницы на Вашем сайте. Рассмотрим пример: для того, чтобы робот загружал одну страницу 11 секунд, устанавливаем команду Request-rate: 1/11.

5. Visit-time. Такая директива служит для определения времени, когда робот имеет возможность загружать страницы на Вашем ресурсе. Не забывайте, что время выставляется по Гринвичу. К примеру: Visit-time: 0050-0070.

Создание Robots.txt не должно содержать ошибок, иначе это может привести к открытию конфиденциальных страниц Вашего ресурса. Либо же наоборот, поисковая система может закрыть полезные страницы.

Если Вы хотите осуществить проверку правильности настройки данного файла, воспользуйтесь Яндекс.Вебмастером, который имеет сервис «Анализ Robots.txt». Все, что от Вас требуется, ввести в поле имя домена, который Вы хотите проверить.

создание robots.txt

Здесь можно оставить свои комментарии. Выпуск подготовленплагином wordpress для subscribe.ru