Перед изменением robots.txt проверьте новый текст файла на конкретных страницах сайта. Главная, раздел услуг и карточка товара должны сохранить доступ для поискового робота, если вы собираетесь продвигать их в поиске. Отсутствие ошибок в написании команд ещё не подтверждает, что правила делают именно то, что вы задумали.
Robots.txt — текстовый файл с указаниями для роботов об обходе сайта. Представим учебную ситуацию. Магазин хочет ограничить обход результатов внутреннего поиска, а после правки закрывает весь каталог. Сайт у покупателей продолжает открываться, поэтому ошибку легко заметить с опозданием.
Сохраните действующий файл и цель изменения
Откройте действующий robots.txt на основном адресе сайта и сохраните его копию с датой. Файл располагается в корне, то есть сразу после имени сайта, по пути /robots.txt. Если правила формирует конструктор или плагин, выясните, где меняется их источник. Ручная загрузка файла может оказаться временной правкой, которую следующий выпуск сайта перезапишет.
Запишите причину изменения одной фразой. Например, "Ограничиваем обход внутренних результатов поиска, сохраняем доступ к категориям и товарам". При обсуждении с разработчиком эта фраза поможет проверить, совпадает ли результат с задачей.
В справке Google уточняется, что robots.txt действует в пределах соответствующего протокола, имени сервера и порта. У поддомена могут быть собственные правила. Поэтому начинайте с точного адреса нужной страницы, особенно если каталог или изображения размещены отдельно.
Составьте небольшой набор контрольных страниц
Возьмите адреса с действующего сайта. В наборе должны быть страницы, ради которых делается изменение, и важные страницы соседних разделов. Для учебного магазина проверка может выглядеть так.
| Что проверяем | Ожидаемое поведение |
|---|---|
| Главная страница | Роботу разрешён обход |
| Категория каталога | Роботу разрешён обход |
| Карточка товара | Роботу разрешён обход |
| Результат внутреннего поиска | Обход ограничен по условию этой учебной задачи |
Для своего сайта замените этот набор реальными адресами и согласуйте ожидаемое поведение. Добавьте необходимые странице стили и скрипты, если новая команда затрагивает папки с такими файлами. Google предупреждает, что блокировка значимых ресурсов может помешать понять содержимое страницы.
Проверьте, к какому роботу относится правило
Строка User-agent определяет, для какого робота написана группа команд. Disallow задаёт запрет обхода пути, Allow — разрешение. Если в файле есть отдельные группы для разных роботов, попросите специалиста показать, какая группа применяется к каждой контрольной странице. Результаты для Google и Яндекса оценивайте отдельно.
Протестируйте черновик до загрузки на сайт
- В Яндекс Вебмастере откройте Инструменты → Анализ robots.txt и укажите проверяемый сайт.
- Вставьте полный новый текст в область редактирования файла и нажмите Проверить. Изучите вкладки с правилами обхода и ошибками.
- В блоке Доступ к страницам, в поле Список страниц, добавьте контрольные адреса и запустите проверку. Сопоставьте каждый результат с вашим списком ожиданий.
Эта проверка описана в актуальной справке Яндекса. Редактирование текста в анализаторе само по себе файл на сайте не меняет. Если инструмент не смог провести полную проверку, разберите указанную причину. Такой результат нельзя записать как подтверждение разрешённого обхода.
Для локальной проверки правил Google разработчикам доступна открытая библиотека разбора robots.txt от Google. Отчёт robots.txt в Search Console показывает файл, который уже доступен на сайте, сведения о его получении и ошибки. Согласуйте со специалистом способ проверки черновика для Google до размещения.
После обновления повторите тот же набор
Разместив согласованный вариант, снова откройте действующий файл и сравните его текст с проверенным черновиком. Затем повторите проверку контрольных страниц. Это помогает обнаружить ситуацию, когда в редакторе всё верно, а сайт продолжает отдавать предыдущую версию.
В Search Console посмотрите дату последнего получения robots.txt и содержимое сохранённой версии. При исправлении критической ошибки в отчёте можно запросить повторное сканирование файла. Обновление правил и обход самих страниц происходят отдельно, поэтому появление товара в поиске проверяйте следующим шагом.
Если Google должен исключить страницу из выдачи, отдельно обсудите noindex, указание об исключении из индекса. Google может показывать адрес, закрытый в robots.txt, если узнал о нём из других источников. А для чтения noindex роботу нужен доступ к странице. Защиту личных данных тоже решают средствами доступа к сайту.
Сохраните исходный файл, размещённую версию, дату и результаты по контрольным страницам. Если случайный запрет затронул каталог, передайте разработчику точный пример и согласуйте исправление с повторной проверкой. Такой журнал пригодится при следующем обновлении плагина или переносе сайта.
Другие разборы технического SEO читайте в моём блоге. С опытом и проектами можно познакомиться на главной странице. Если нужно проверить правила обхода вашего сайта, посмотрите направления работы и расскажите о задаче.
Какие страницы вашего сайта вы первыми включили бы в контрольный набор?