Закрытые страницы, файлы, документы сайта в robots.txt могут быть видимыми для поисковых систем. Чтобы этого избежать, достаточно учесть следующие условия:

- не помещать robots.txt в корневой каталог или другую директорию сайта;
- при обращении к файлу код ответа должен быть HTTP 200;
- размер robots строго не более 32 Кб;
- если «роботов» несколько, то допустим Яндекс будет видеть только тот robots, который указан после «User-agent: Yandex».

После редактирования файла необходимо подождать 1-2 недели – это средний период на принятие изменений поисковиками.