Возможные проблемы robots.txt и их решения

  • Posted on: 18 March 2015
  • By: Oleg

Закрытые страницы, файлы, документы сайта в robots.txt могут быть видимыми для поисковых систем. Чтобы этого избежать, достаточно учесть следующие условия:

- не помещать robots.txt в корневой каталог или другую директорию сайта;
- при обращении к файлу код ответа должен быть HTTP 200;
- размер robots строго не более 32 Кб;
- если «роботов» несколько, то допустим Яндекс будет видеть только тот robots, который указан после «User-agent: Yandex».

После редактирования файла необходимо подождать 1-2 недели – это средний период на принятие изменений поисковиками.

Нашли что-то полезное? Поделитесь с друзьями!

Спасибо!