Запрет индексации нужен в нескольких случаях:

1. Веб-страница служебная (техническая), например, вход в админку, страница восстановления пароля.
2. Это страница с результатами поиска, их нельзя индексировать т.к. разные поисковые запросы могут создать неограниченное количество таких страниц.
3. Это дубль существующей страницы, созданные по ошибке CMS.

Как закрыть страницу от индексации?

Метода два:

1. Использовать robots.txt
2. Использовать мета тег robots

Отличия между ними:

Robots.txt распространяется на весь сайт, но в нём так же можно указать отдельные страницы.
Мета-тег действует только на одну страницу, на которой он расположен.

Приоритеты. Для поисковых систем директивы meta-тегов имеют преимущество перед директивами из robots.txt. Последней будет выполняться именно директива из мета-тега. Обычно закрывают через robots.txt, т.к. это удобнее, в одном месте собраны все закрытые страницы.

Закрыть страницу через robots.txt можно так:

User-agent: Yandex
Disallow: /catalog/page.html

Закрыть страницу через meta-теги можно так:

<meta name="robots" content="noindex,nofollow">

Варианты значений в meta-теге:

noindex, nofollow – страница запрещена для индексации, переходить по ссылкам на ней тоже запрещено;

noindex, follow – страница запрещена для индексации, переходить по ссылкам на ней разрешено;

index, nofollow – страница может индексироваться, но переходить по ссылкам на ней нельзя;

index, follow – страница может индексироваться, но переходить по ссылкам на ней нельзя (равно отсутствию этого мета-тега);

noarchive – запрещает хранить кэшированную копию страницы;

noyaca – только для Яндекса. Если сайт зарегистрирован в яндес-каталог, то запрещает использовать описание в результатах поиска, которое берется из каталога. Каталог закрыт. Но описания для старых сайтов оттуда могут сохраняться.

noodp – запрещает использовать в результатах описания, которые взяты из каталога DMOZ. Каталог DMOZ закрыт, тег не актуален.