SEO
Robots.txt: правила обхода сайта и их ограничения
Текстовый файл с правилами обхода URL для роботов, которые соблюдают эти правила. Он управляет доступом робота к ресурсам при обходе, но не является защитой данных или надёжным способом исключить страницу из поиска.
Редакция:
Robots.txt сообщает, какие адреса робот может обходить. При этом URL, закрытый для обхода, всё ещё может быть известен поисковику по другим ссылкам. Правило не препятствует человеку открыть адрес и не заставляет любой робот соблюдать ограничения. Эти границы описаны в руководстве Google.
Поэтому список закрытых путей в robots.txt нельзя считать местом безопасного хранения секретных адресов. Частные данные защищают авторизацией и правами доступа.
Пример: ограничение стенда осталось после запуска
Учебная ситуация: новая версия открывается на основном домене, но вместе с ней выпущены правила, запрещающие обход всех страниц. Внешне сайт работает, однако запланированное обнаружение публичных материалов затруднено. При приёмке нужно проверить файл именно рабочего окружения.
Исправление не означает «удалить все запреты». Сначала согласуйте, какие разделы публичные, какие служебные и зачем действует каждое ограничение. Staging и production могут требовать разных настроек.
Три разных механизма
| Механизм | Какую задачу решает |
|---|---|
| Robots.txt | Указывает правила обхода для соблюдающего их робота |
| Noindex | Сообщает поисковику не включать доступный ему материал в индекс |
| Контроль доступа | Ограничивает получение данных пользователем или программой |
Чтобы увидеть noindex на странице, Google должен иметь возможность её прочитать. Одновременный запрет обхода может этому помешать. Для закрытого стенда не ослабляйте защиту доступа ради чтения метки поисковиком; сначала определите задачу. Правила noindex.
Что попросить показать
Выберите несколько реальных URL: главную, услугу, статью и служебный раздел. Для каждого запишите ожидаемую доступность обхода и фактический результат проверки выбранного робота. Отдельно проверьте необходимые ресурсы страницы: если робот не может получить важные стили или скрипты, это может мешать её анализу.
Зафиксируйте адрес и дату проверенного файла, окружение, назначение правил и ответственного. Не вставляйте случайный шаблон из другого проекта: структура путей и задачи могут отличаться. Для технических деталей используйте спецификацию Google.
Включите результаты в чек-лист приёмки. Разрешённый обход ещё не доказывает индексацию; сообщение об ошибке обхода нужно разбирать по конкретному адресу и дате, а не по внешнему виду главной страницы.