Файл robots.txt - это текстовой файл, который находится в корневой папке и создаётся он для поисковых агентов. Через него вы можете управлять доступом ботов к вашему сайту. Robots.txt является полезным дополнением к файлу Sitemap. Этот файл поддерживается всеми большими поисковыми машинами.

Для чего запрет доступа для поисковиков может быть хорош? Он может быть хорош по нескольким понятиям. Из-за вопросов безопасности, например, отключается индексация администраторских разделов. Из-за соображений оптимизации может быть исключён зафлуженый форум от индексации, который мог бы негативно повлиять на позиции сайта в поисковиках.

Читайте в полной статье, как правильно составить такой файл и какие директивы в него можно внести.