Что такое robots.txt?
Коротко: robots.txt — это текстовый файл в корне сайта, который указывает поисковым роботам, какие страницы можно сканировать, а какие нет. Он не запрещает индексацию полностью, а управляет обходом.
Как устроен robots.txt
Файл состоит из директив. Основные — User-agent (для кого правило) и Disallow (какие пути запрещены). Пример:
User-agent: * Disallow: /admin/ Disallow: /search/ Sitemap: https://site.ru/sitemap.xml
Зачем он нужен
- Экономит ресурсы робота, снижая нагрузку на сервер.
- Не даёт индексировать служебные разделы и дубли.
- Указывает путь к карте сайта (sitemap).
- Помогает исключить из поиска непубличные страницы.
Важные нюансы
Если закрыть страницу в robots.txt, она может остаться в индексе, но без сниппета. Для полноценного исключения из поиска используйте метатег noindex или X-Robots-Tag. А чтобы убрать страницу из индекса, добавляйте noindex с директивой Disallow.
Попробуйте Manus — автономный ИИ-агент: + 2500 токенов
Планирует и выполняет задачи: исследование, анализ, генерация контента. Доступ по приглашению.
Источники: Яндекс.Вебмастер, Google Search Central.
Бесплатный разбор вашего сайта
Оставьте заявку — специалисты MetaRise оценят вашу видимость в поиске и нейросетях.