Как закрыть страницы от индексации wordpress
Перейти к содержимому

Как закрыть страницы от индексации wordpress

  • автор:

Как закрыть страницу от индексации в wordpress?

Чтобы закрыть страницу от индексации в WordPress, можно воспользоваться двумя основными методами:

  1. Использовать файл robots.txt

Создайте файл robots.txt в корневой директории вашего сайта и добавьте следующие строки:

javascript
User-agent: * Disallow: /your-page-url/

Замените your-page-url на URL-адрес страницы, которую вы хотите закрыть от индексации. Это скажет поисковым роботам не индексировать эту страницу.

  1. Использовать мета-теги noindex

Если у вас установлен плагин Yoast SEO, вы можете просто открыть страницу, которую вы хотите закрыть от индексации, и выбрать вкладку «Advanced» в разделе Yoast SEO на странице редактирования. Затем выберите «noindex» в выпадающем меню «Meta robots index».

Если у вас нет плагина Yoast SEO, вы можете добавить мета-теги вручную, добавив следующий код в секцию страницы:

php
meta name="robots" content="noindex">

С помощью этих методов вы сможете закрыть страницу от индексации и избежать ее появления в результатах поисковой выдачи.

Руководство: как закрыть сайт от индексации в поисковых системах? Работа с файлом robots.txt

На стадии разработки и/или редизайна проекта бывают ситуации, когда лучше не допускать поисковых роботов на сайт или его копию. В этом случае рекомендуется закрыть сайт от индексации поисковых систем. Сделать это можно следующим образом:

Закрыть сайт от индексации очень просто, достаточно создать в корне сайта текстовый файл robots.txt и прописать в нём следующие строки:

User-agent: Yandex
Disallow: /

Такие строки закроют сайт от поискового робота Яндекса.

А таким образом можно закрыть сайт от всех поисковых систем (Яндекса, Google и других).

Как закрыть от индексации отдельную папку? #

Отдельную папку можно закрыть от поисковых систем в том же файле robots.txt с её явным указанием (будут скрыты все файлы внутри этой папки).

User-agent: *
Disallow: /folder/

Если какой-то отдельный файл в закрытой папке хочется отдельно разрешить к индексации, то используйте два правила Allow и Disallow совместно:

User-agent: *
Аllow: /folder/file.php
Disallow: /folder/

Как закрыть отдельный файл в Яндексе? #

Всё по аналогии.

User-agent: Yandex
Disallow: /folder/file.php

Как проверить, в индексе документ или нет? #

Проще всего осуществить проверку в рамках сервиса «Пиксель Тулс», бесплатный инструмент «Определение возраста документа в Яндексе» позволяет ввести URL списком. Если документ отсутствует в индексе, то в таблице будет выведено соответствующее значение.

Определение индекса и возраста

Анализ проведён с помощью инструментов в сервисе Пиксель Тулс.

Как скрыть от индексации картинки? #

Картинки форматов jpg, png и gif могут быть запрещены к индексации следующими строчками в robots.txt:

User-Agent: *
Disallow: *.jpg
Disallow: *.png
Disallow: *.gif

Как закрыть поддомен? #

У каждого поддомена на сайте, в общем случае, имеется свой файл robots.txt. Обычно он располагается в папке, которая является корневой для поддомена. Требуется скорректировать содержимое файла с указанием закрываемых разделов с использованием директории Disallow. Если файл отсутствует — его требуется создать.

При использовании CDN-версии #

Дубль на поддомене может стать проблемой для SEO при использовании CDN. В данном случае рекомендуется, либо предварительно настроить работу атрибута rel=»canonical» тега на основном домене, либо создать на поддомене с CDN (скажем, nnmmkk.r.cdn.skyparkcdn.ru) свой запрещающий файл robots.txt. Вариант с настройкой rel=»canonical» — предпочтительный, так как позволит сохранить/склеить всю информацию о поведенческих факторах по обоим адресам.

Как обращаться к другим поисковым роботам (список) #

У каждой поисковой системы есть свой список поисковых роботов (их несколько), к которым можно обращаться по имени в файле robots.txt. Приведем список основных из них (полные списки ищите в помощи Вебмастерам):

  • Yandex — основной робот-индексатор Яндекса.
  • Googlebot — основной робот-индексатор от Google.
  • Slurp — поисковый робот от Yahoo!.
  • MSNBot — поисковый робот от MSN (поисковая система Bing от Майкрософт).
  • SputnikBot — имя робота российского поисковика Спутник от Ростелекома.

Прочие директивы в robots.txt #

Поисковая система Яндекс также поддерживает следующие дополнительные директивы в файле:

  • «Crawl-delay:» — задает минимальный период времени в секундах для последовательного скачивания двух файлов с сервера. Также поддерживается и большинством других поисковых систем. Пример записи: Crawl-delay: 0.5
  • «Clean-param:» — указывает GET-параметры, которые не влияют на отображение контента сайта (скажем UTM-метки или ref-ссылки). Пример записи: Clean-param: utm /catalog/books.php
  • «Sitemap:» — указывает путь к XML-карте сайта, при этом, карт может быть несколько. Также директива поддерживается большинством поисковых систем (в том числе Google). Пример записи: Sitemap: https://pixelplus.ru/sitemap.xml

Закрыть страницу и сайт с помощью meta-тега name=»robots» #

Также, можно закрыть сайт или заданную страницу от индексации с помощь мета-тега robots. Данный способ является даже предпочтительным и с большим приоритетом выполняется пауками поисковых систем. Для скрытия от индексации внутри зоны документа устанавливается следующий код:

С помощью meta-тега можно обращаться и к одному из роботов, используя вместо name=»robots» имя робота, а именно:

Как закрыть от индексации ссылки WordPress

Хотите на своем блоге все внешние ресурсы скрыть от поисковиков? Хорошим вариантом будет закрыть от индексации ссылки WordPress. Разбираемся как правильно это сделать.

Нужно ли закрывать?

ДА! Большое количество линков на внешние ресурса поисковики расценивают как ссылочный переспам. Например, вы пишете статьи с обзорами продуктов и вставляете партнерские (или Affiliate) ссылки. Если их много, то вы рискуете попасть под фильтр. А это понижение видимости сайта в поиске или вообще исключение из него. Кроме этого, такая страница может потерять ссылочный вес.

Как удалить внешние ссылки

Есть 2 рабочих способа:

  1. Добавить атрибуты к каждому линку.
  2. «Спрятать» через скрипт JS.

Разберем оба способа.

С помощью атрибутов

Обычная ссылка выглядит так:

Их можно проставить 2 способами: в редакторе или через плагин.

Ещё читайте: Может ли тег noopener негативно повлиять на ваш сайт?

Плагин

Это просто сделать с помощью WP-плагина External Links . Расширение для всего сайта: контент, шапка, подвал, виджеты.

  1. Установите и активируйте.
  2. В админке перейдите External Links.
  3. На вкладке с таким же названием отметьте нужное.
  4. Сохраните настройки.

Настройка плагина External Links

Редактор WordPress

Подойдет, если не хотите забивать свой ресурс лишними модулями.

  1. Откройте на редактирование пост и добавьте ссылку.Вставка ссылки в Gutenberg
  2. Перейдите в режим Редактировать как HTML.Режим HTML в редакторе Gutenberg
  3. Вставьте атрибуты.Атрибуты ссылки в Gutenberg
  4. Перейдите в обычный режим (Редактировать визуально).Визуальный режим редактора Gutenberg
JS-скрипт

Для этого отлично подойдет плагин WP No External Links .

  1. Установите и активируйте.
  2. Откройте Настройки > No External Links, перейдите в раздел Шифрование ссылок.
  3. Задействуйте Кодировать ссылки при помощи base64.

Страница настроек плагина WP No External Links

В URL-Link будет зашифрован и добавлен атрибут для открытия ссылки в новой вкладке веб-браузера:

Выбор разделов сайта в WP No External Links

Скрываем ссылки в комментариях

Если нужно закрыть от индексации ссылки в обсуждениях, то есть отличный вариант — премиум-плагин Clearfy Pro .

  1. Перейдите в раздел Clearfy Pro.
  2. На вкладке SEO отметьте все опции.

Сокрытие ссылок в комментариях с помощью Clearfy Pro

Активировать промокод на 15%

Любой ссылке можно задать свой цвет color a. В этом поможет наша палитра цветов css.

Как спрятать ссылки в блоке «Источник» шаблона Reboot

С шаблоном Reboot WPShop я работаю чаще всего, поэтому решил рассказать, как спрятать ссылку в блоке «Источник». Разработчики предусмотрели в теми специальный блок для вывода ссылки на источник информации.

Считается, что указание источника повышает доверие поисковых систем и пользователей. Поэтому многие пользуются этим решением.

Но не всем хочется, чтобы ссылочный вес утекал на сторонний ресурс. Чтобы этого не произошло, укажите в блоке «Настройки записи» внешний линк, и следом поставьте галочку в чекбоксе «Скрыть ссылку на источник с помощью JS». В этом случае ссылка не будет индексироваться.

как спрятать ссылку на источник

код спрятанной ссылки

В этом случае ссылка будет спрятана через Java Script и к ней будет добавлен атрибут rel=»noopener». Так это будет выглядеть в коде:

Если у вас еще нет темы Reboot с большим количеством полезных надстроек, забирайте со скидкой.

Нажмите, пожалуйста, на одну из кнопок, чтобы узнать понравилась статья или нет.

Мне нравится 14

Если Вам понравилась статья — поделитесь с друзьями

Михаил Петров

Привет! Меня зовут Михаил Петров. Я копирайтер и занимаюсь этим с 2013 года. Скрупулезность и ответственность — моя фишка! Не могу делать как попало и добиваюсь, чтоб заказчик сказал минимум “неплохо”. За все время своей работы пришлось написать и отредактировать немало разной “текстовухи”, включая SEO-тексты, отзывы и прочую чушь. На сегодняшний день специализируюсь на написании информационных статей и руководств технического направления. Вижу смысл и светлое будущее в текстах для людей, а не для машин.

Настройки файла robots.txt: закрыть от индексации рубрики, метки, страницы пагинации

rgbcode is looking for WordPress developers.

Ситуация, оптимизирую (контент, картинки + мета данные: title, description и keywords по средствам плагина одного) определенные категории и метки сайта (их много посему постепенно все делаю). В файле robots.txt запретил индексировать метки, классика: Disallow: /tag/ естественно разрешил те которые облагорожены пример: Allow: /tag/videokarty-asus. Казалось все норм, однако у меток тоже есть страницы и в индекс попала несколько вот такого формата: домен/tag/videokarty-asus/page/1 . Как их закрыть именно в robots.txt самым простым способом? Пока применил для всех открытых меток такое правило: Disallow: /tag/videokarty-asus/page/ Вот только у меня 16 меток открыты уже и под каждую писать такое правило очень громоздко плюс постоянно подходят новые оптимизированные.

Плюс еще вопрос.

Стоит у меня в файле function.php такой код:

/*** ДОБАВЛЯЕМ meta robots noindex,nofollow ДЛЯ СТРАНИЦ ***/ function my_meta_noindex () < if ( is_paged() // Все и любые страницы пагинации ) '."\n";> > add_action('wp_head', 'my_meta_noindex', 3); // добавляем свой noindex,nofol

Кто им пользуется и если в нем потребность?
9.1 год назад 30

Закрыть все виды пагинации можно так: Disallow: */page/ Если нужно только для меток, то можно так Disallow: /tag/*/page/

Метатеги noindex

Что касается метатегов noindex, то они имеют больший приоритет над правилами в robots.txt. Тот код который вы выложили, чтобы закрыть страницы пагинации — не лучшее решение. Я рекомендую страницы пагинации закрыть через robots.txt и удалить ваш код. А вот что касается закрытия и открытия рубрик и меток с описанием, то будет удобнее использовать именно метатег, потому что можно программно проверить: если у рубрики есть описание, то открыть для индексации, если описания нет, то закрыть. Так вам не нужно будет постоянно менять robots.txt и совать туда такие правила: Allow: /tag/videokarty-asus Для этого вам в robots нужно просто закрыть от индексации страницы пагинации Disallow: */page/ . А другие правила касательно меток и рубрик удалить, т.е. метки и рубрики оставить открытые, но закрыть их в метатегах с проверкой на наличие описания. Проверять описание будем функцией term_description():

// получаем объект запроса $qobject = get_queried_object(); // если это элемент таксономии (метка рубрика) и у него нет описания // выводим закрывающий от индексации метатег if( isset( $qobject->taxonomy ) && ! term_description( $qobject->term_id, $qobject->taxonomy ) )< echo ''; >

Этот код нужно разместить в head часть документа (файл темы header.php). И он должен выводить закрывающий метатег для всех таксономий у которых нет описания. Так у вас все получится автоматически, без постоянного редактирования robots.txt. П.С. У вас код в вопросе испортился поправьте пожалуйста! П.П.С Эту статью мою прочитайте, там все подробно про robots.txt.

BigDimoz 9.1 год назад

Гениально! Пока «вкурил» как говорится, потом осенило, точно, ведь можно проверять наличие дискрипшин на странице. Однако захожу на: /tag/materinskie-platy-asrock/page/2 смотрю исходный код и вижу там то есть в данном случае пропустит функция эту страницу. Выводит описания и ключевые слова плагин для облагораживания рубрик и меток под названием Category SEO Meta Tags 2.5 by Bala Krishna (http://www.bala-krishna.com). Я конечно не сторонник плагинов вообще и многими вашими кодами пользуюсь, доверяю мастеру своего дела. Допустим при добавлении мета данных в постах пользуюсь произвольными полями (ваш код для файла function.php и для header.php), а не all seo pack или подобными. Вот как вывести: без плагина только на первой странице меток и рубрик? Тимур сами понимаете остальные смысла продвигать нет. Рубрики мои почти заполнены, а вот метки их очень много просто и меня волновало дублирование, так как очень много пересекающихся. Кстати вопрос. Для продвижения стоит ли оставлять классический вид вывода анонсов (заголовок, миниатюра и кусок контента) или как то упростить (убрать миниатюры и текст, оставить заголовки, но не в , а допустим в

их запаковать). Как для SEO лучше будет.
Да и что там в коде вопроса нужно поправить?
BigDimoz 9.1 год назад
П.С. это к моему вопросу прилагается про вывод без плагинов.
Как прочистить засор в посудомоечной машине

  • Как разобрать редми 8 а
  • Как решать второе задание егэ по информатике на питоне
  • Как сделать manual на самокате
  • Добавить комментарий

    Ваш адрес email не будет опубликован. Обязательные поля помечены *