Если на сайте рубрики и теги не дают трафик и только плодят тонкие архивные страницы, их действительно имеет смысл закрыть от индексации. В WordPress это обычно делают через SEO-плагин: он ставит для архивов таксономий мета-тег noindex, а при необходимости ещё и убирает их из карты сайта. Это более надёжный вариант, чем попытка решить задачу только через robots.txt.
Сразу оговорюсь: закрыть от индексации — не то же самое, что запретить обход. Поисковик может продолжать заходить на страницу, но не должен включать её в индекс. Для архивов тегов и рубрик это как раз обычно и нужно.
Что именно закрывать и когда это оправдано
Речь идёт о страницах архивов таксономий: /category/... для рубрик и /tag/... для тегов. На небольших сайтах они часто дублируют навигацию, не несут самостоятельной ценности и собирают тонкий контент: несколько записей, слабый текст в описании архива или вообще пустую страницу.
Закрывать такие архивы имеет смысл, если:
- рубрики и теги нужны только для внутренней навигации;
- по ним нет стабильного поискового спроса;
- архивы не содержат уникального полезного текста, который должен ранжироваться;
- в индексе уже накопилось много бесполезных страниц.
Не стоит закрывать всё подряд, если рубрика или тег — это полноценная посадочная страница с уникальным контентом, подборкой материалов и реальным поисковым спросом. В таком случае лучше оставить её открытой и доработать содержимое.
Самый правильный способ: закрыть архивы через SEO-настройки
Для WordPress самый практичный путь — использовать SEO-плагин, который умеет управлять мета-тегами архивов. В интерфейсе обычно есть отдельные настройки для рубрик и тегов: можно поставить noindex, а иногда ещё и nofollow. Для задачи индексации важен именно noindex; nofollow здесь не обязателен и обычно не решает основную проблему.
Логика простая: вы не трогаете структуру сайта и не ломаете ссылки, а только говорите поисковым системам не включать эти страницы в индекс. Это предпочтительнее, чем удалять рубрики или теги из WordPress, потому что таксономии могут быть полезны для пользователей и админки.
Что искать в настройках плагина
Названия пунктов отличаются в зависимости от плагина, но смысл один и тот же. Ищите разделы вроде:
- архивы рубрик;
- архивы тегов;
- таксономии;
- мета robots;
- noindex для архивов.
После включения noindex для рубрик и тегов плагин обычно добавляет на соответствующие страницы мета-тег вида <meta name="robots" content="noindex,follow"> или аналогичный вариант. Это нормальная практика: страница не индексируется, но ссылки с неё могут учитываться при обходе сайта.
Если вы используете Clearfy Pro, эта задача как раз относится к его SEO-настройкам и очистке дублей. Но сам принцип одинаковый и для других SEO-плагинов: вам нужен именно контроль над robots meta для архивов, а не косметическая правка шаблона.
Почему robots.txt не решает задачу полностью
Многие пытаются закрыть архивы через robots.txt, но это не лучший способ, если цель — убрать страницы из индекса. Файл robots.txt запрещает обход, а не индексацию как таковую. Если поисковик уже знает URL и видит на него ссылки, страница может какое-то время оставаться в выдаче без содержимого или с устаревшим сниппетом.
Для архивов тегов и рубрик обычно нужен именно noindex на самой странице. robots.txt можно использовать как дополнительную меру, но не как основной инструмент для удаления URL из индекса.
Есть и ещё один нюанс: если вы закроете архив в robots.txt, поисковый робот может не увидеть мета-тег noindex на самой странице, потому что ему просто не дадут её обойти. В результате страница может дольше оставаться в индексе, чем при корректном noindex.
Когда имеет смысл править шаблон вручную
Ручной способ нужен нечасто, но он полезен, если SEO-плагин не используется или не даёт нужной настройки. Тогда можно добавить условный вывод noindex в шаблон темы. Делать это лучше в дочерней теме, чтобы изменения не слетели после обновления.
Для архивов рубрик и тегов в WordPress можно использовать условные теги is_category() и is_tag(). Пример ниже добавляет мета-тег robots только на страницах этих архивов.
<?php if ( is_category() || is_tag() ) : ?>
<meta name="robots" content="noindex,follow" />
<?php endif; ?>Этот код нужно вставить в секцию <head> шаблона, обычно в файл header.php дочерней темы или через хук темы, если он предусмотрен. Если тема уже выводит robots meta через SEO-плагин, не дублируйте тег вручную: два разных указания могут запутать обработку страницы.
Ручная правка оправдана только тогда, когда вы понимаете, где именно формируется <head>, и можете проверить результат после обновления темы. Если такой уверенности нет, безопаснее использовать SEO-плагин.
Что делать с картой сайта и внутренними ссылками
Если архивы рубрик и тегов закрыты от индексации, проверьте, не попадают ли они в XML-карту сайта. Для страниц с noindex логичнее убрать их из sitemap, чтобы не отправлять поисковику противоречивые сигналы. Многие SEO-плагины делают это автоматически, но лучше убедиться вручную.
Внутренние ссылки на рубрики и теги можно оставить, если они нужны пользователям. noindex не запрещает ссылки и не ломает навигацию. Но если на сайте есть десятки пустых или почти пустых тегов, имеет смысл не только закрыть их от индексации, но и пересмотреть саму структуру таксономий: удалить мусорные теги, объединить дубли и оставить только те, которые реально используются.
Как проверить, что архивы действительно закрыты
После настройки не ограничивайтесь визуальной проверкой в админке. Откройте несколько страниц рубрик и тегов в браузере и посмотрите исходный код страницы. В <head> должен быть мета-тег robots с noindex.
Проверять стоит именно так:
- откройте архив рубрики или тега в браузере;
- посмотрите исходный код страницы, а не только HTML в инспекторе;
- найдите строку с
robots; - убедитесь, что там есть
noindex; - проверьте, не осталось ли этой страницы в XML-карте сайта.
Если используете Google Search Console или аналогичный инструмент, учтите: удаление URL из индекса не происходит мгновенно. После добавления noindex поисковик должен переобойти страницу и только потом убрать её из выдачи. На это уходит время, и это нормально.
Типичные ошибки, из-за которых архивы всё равно индексируются
На практике проблемы чаще всего связаны не с WordPress, а с настройкой:
- поставили запрет в
robots.txt, но не добавилиnoindexна саму страницу; - закрыли только рубрики, забыв про теги;
- включили
noindex, но оставили архивы в sitemap; - проверили не ту страницу — например, архив автора или дату, а не рубрику;
- в теме или плагине одновременно выводятся два разных robots meta;
- ожидают мгновенного исчезновения из индекса без переобхода поисковиком.
Если архивы нужны только как техническая навигация, самый надёжный вариант обычно такой: закрыть рубрики и теги через SEO-плагин, убрать их из sitemap и оставить ссылки внутри сайта как есть. Это не ломает структуру WordPress и даёт поисковику понятный сигнал.
Если же часть архивов должна оставаться в индексе, не применяйте одинаковое правило ко всем таксономиям. В WordPress это нормально: одни рубрики можно закрыть, а важные тематические страницы оставить открытыми и доработать под поиск.