Тег noindex html: | Справочник HTML

HTTP/1.1 200 ОК
(...)
  X-Robots-Tag: noindex 
(...) 

Узнайте больше о заголовке ответа noindex .

Отладка

Нам нужно просканировать вашу страницу, чтобы увидеть тега и заголовки HTTP. Если страница по-прежнему отображается в результатах, возможно, это связано с тем, что мы не сканировали страницу с вы добавили noindex правило. В зависимости от важности страницы на Интернет, роботу Googlebot может потребоваться несколько месяцев, чтобы повторно посетить страницу. Вы можете запросить, чтобы Google пересканировать страницу с помощью Инструмент проверки URL.

Если вам нужно быстро удалить страницу вашего сайта из результатов поиска Google, см. документация об увольнении.

Другая причина также может заключаться в том, что файл robots.txt блокирует URL-адрес из сети Google. сканеры, поэтому они не могут видеть тег. Чтобы разблокировать свою страницу от Google, вы должны отредактируйте файл robots.txt. Вы можете редактировать и тестировать файл robots.txt с помощью robots.txt Тестер инструмент.

Наконец, убедитесь, что правило noindex видно Googlebot. Чтобы проверить, если ваш noindex реализация правильная, используйте Инструмент проверки URL чтобы увидеть HTML-код, полученный роботом Googlebot при сканировании страницы. Вы также можете использовать Отчет об индексации страниц в Search Console, чтобы отслеживать страницы вашего сайта, с которых робот Googlebot извлек noindex правило.

Как запретить Google индексировать страницу в поиске

Индексирование как можно большего количества страниц вашего веб-сайта может быть очень заманчивым для маркетологов, которые пытаются повысить свой авторитет в поисковых системах.

Но, несмотря на то, что публикация большего количества страниц, релевантных определенному ключевому слову (при условии, что они также высокого качества), действительно улучшит ваш рейтинг по этому ключевому слову, иногда на самом деле более ценно оставить определенные страницы на вашем веб-сайте из индекса поисковой системы.

... Что сказать?!

Оставайтесь с нами, ребята. В этом посте вы узнаете, почему вы можете захотеть удалить определенные веб-страницы из SERP (страниц результатов поисковой системы) и как именно это сделать.

Деиндексация страницы из Google

В некоторых случаях может потребоваться исключить веб-страницу или часть веб-страницы из сканирования и индексации поисковыми системами, например:

• Во избежание дублирования контента ( когда существует более одной версии страницы, проиндексированной поисковыми системами, например, версия вашего контента для печати) от индексации
• Использовать страницы администратора и входа для внутреннего использования, если только они не предназначены для использования сообществом
• Для страницы благодарности (т. е. страницы, на которую попадает посетитель после перехода на одну из ваших целевых страниц), где посетитель получает доступ к любому предложению, обещанному этой целевой страницей, например, ссылку на электронную книгу PDF

Вот как выглядит страница благодарности для нашей электронной книги с советами по SEO, например:

Вы хотите, чтобы любой, кто попал на вашу страницу благодарности, попал туда, потому что он уже заполнил форму на лендинге страница — , а не , потому что они нашли вашу страницу благодарности в поиске.

Почему бы и нет? Потому что любой, кто найдет вашу страницу благодарности в поиске, может получить прямой доступ к вашим лидогенерирующим предложениям — без необходимости предоставлять вам свою информацию для прохождения через вашу форму захвата лидов. Любой маркетолог, который понимает ценность целевых страниц, понимает, насколько важно сначала привлечь этих посетителей в качестве лидов, прежде чем они смогут получить доступ к вашим предложениям.

Итог: Если ваши страницы благодарности легко найти с помощью простого поиска в Google, возможно, вы оставляете ценную информацию на столе.

Что еще хуже, вы даже можете обнаружить, что некоторые из ваших страниц с самым высоким рейтингом для некоторых из ваших ключевых слов с длинным хвостом могут быть страницами благодарности, а это означает, что вы можете приглашать сотни потенциальных лидов, чтобы обойти захват лидов. формы. Это довольно веская причина, по которой вы хотите удалить некоторые из своих веб-страниц из поисковой выдачи.

Итак, как вы собираетесь «деиндексировать» определенные страницы из поисковых систем? Вот три способа сделать это.

3 способа деиндексировать веб-страницу из поисковых систем

Robots.txt для деиндексации

Используйте, если: вы хотите лучше контролировать то, что вы деиндексируете, и у вас есть необходимые технические ресурсы.

Один из способов удалить страницу из результатов поиска — добавить на сайт файл robots. txt. Преимущество использования этого метода заключается в том, что вы можете лучше контролировать то, что вы разрешаете индексировать ботам. Результат? Вы можете заблаговременно исключить нежелательный контент из результатов поиска.

В файле robots.txt вы можете указать, хотите ли вы блокировать ботов с одной страницы, всего каталога или даже только одного изображения или файла. Существует также возможность предотвратить сканирование вашего сайта, но при этом разрешить работу объявлений Google AdSense, если они у вас есть.

При этом из двух доступных вам вариантов этот требует самого технического кунг-фу. Чтобы узнать, как создать файл robots.txt, прочитайте эту статью, в которой объясняется, как именно это сделать.

Клиенты HubSpot: Вы можете узнать, как установить файл robots.txt на свой сайт здесь и узнайте, как настроить содержимое файла Robots.txt здесь.

Если вам не нужен полный контроль над файлом robots.txt и вы ищете более простое и менее техническое решение, тогда этот второй вариант для вас.

Htaccess No Index No Follow to De-Index

Используйте, если: Ваш веб-сайт работает на Apache и включен mod_headers, это быстрое решение.

В этом случае вы можете прикрепить эту единственную строку к вашему файлу .htaccess:

Заголовок установить X-Robots-Tag "noindex, nofollow"

Чтобы обозначить, что ваш веб-сайт может быть проиндексирован, но никогда не отображается ни в одном поиске Google. Результаты.

Meta No Index No Follow to De-Index

Используйте, если: вам нужно более простое решение для деиндексации всей веб-страницы и/или деиндексации ссылок на всей веб-странице.

Использование метатега для предотвращения появления страницы в поисковой выдаче и/или ссылок на странице — просто и эффективно. Это требует лишь небольшого количества технических ноу-хау — на самом деле это просто задание копирования/вставки, если вы используете правильную систему управления контентом.

Теги, которые позволяют вам это делать, называются «noindex» и «nofollow». Прежде чем я перейду к тому, как добавлять эти теги, давайте уделим немного времени определению и различию между ними. В конце концов, это две совершенно разные директивы, и их можно использовать как по отдельности, так и вместе друг с другом.

Что такое тег "noindex"?

Когда вы добавляете к веб-странице метатег noindex, он сообщает поисковой системе, что, хотя она и может сканировать страницу, она не может добавить ее в свой поисковый индекс.

Таким образом, любая страница с директивой "noindex" не попадет в поисковый индекс поисковой системы и, следовательно, не может быть показана на страницах результатов поисковой системы.

Что такое тег "nofollow"?

Когда вы добавляете метатег «nofollow» на веб-страницу, запрещает поисковым системам сканировать ссылки на этой странице. Это также означает, что любой ранжирующий авторитет страницы в поисковой выдаче будет а не передан страницам, на которые она ссылается.

Таким образом, на любой странице с директивой "nofollow" все ссылки будут игнорироваться Google и другими поисковыми системами.

Как я уже говорил, вы можете добавить директиву "noindex" либо отдельно, либо вместе с директивой "nofollow". Вы также можете добавить директиву «nofollow» отдельно.

Когда использовать «noindex» и «nofollow» по отдельности

Добавлять только тег «noindex» , когда вы не хотите, , чтобы поисковая система индексировала вашу веб-страницу в поиске, но вы хотите этого переходить по ссылкам на этой странице, тем самым предоставляя ранжирование другим страницам, на которые ссылается ваша страница.

Прекрасным примером этого являются платные целевые страницы. Вы не хотите, чтобы поисковые системы индексировали целевые страницы, за просмотр которых люди должны платить, но вы можете захотеть, чтобы страницы, на которые они ссылаются, пользовались его авторитетом.

Добавляйте только тег "nofollow" , когда вы действительно хотите, чтобы поисковая система проиндексировала вашу веб-страницу в поиске, но не хотите, чтобы она переходила по ссылкам на этой странице.

Существует не так уж много примеров, когда вы добавляете тег «nofollow» на всю страницу без добавления тега «noindex». Когда вы решаете, что делать на данной странице, это больше вопрос о том, добавлять ли ваш тег «noindex» с тегом «nofollow» или без него.

Когда использовать «noindex, nofollow» вместе

Добавьте тег "noindex" и "nofollow" , если вы не хотите, чтобы поисковые системы индексировали веб-страницу в поиске, и вы не хотите, чтобы она переходила по ссылкам на этой странице.

Страницы благодарности — отличный пример такой ситуации. Вы не хотите, чтобы поисковые системы проиндексировали вашу страницу благодарности, и при этом вы не хотите, чтобы они перешли по ссылке на ваше предложение и начали индексировать содержание этого предложения.

Как добавить метатег «noindex» и/или «nofollow»

Шаг 1: Скопируйте один из следующих тегов.

Для "noindex":

Для "nofollow":

Для обоих "noindex " и "nofollow":

Шаг 2: Добавьте тег в раздел HTML-кода вашей страницы, также известный как заголовок страницы.

Если вы клиент HubSpot, это очень просто — нажмите здесь или прокрутите вниз, чтобы найти инструкции для пользователей HubSpot.

Если вы , а не клиент HubSpot, , вам придется вручную вставить этот тег в код на своей веб-странице. Не волнуйтесь — это довольно просто. Вот как вы это делаете.

Сначала откройте исходный код веб-страницы, которую вы пытаетесь деиндексировать. Затем вставьте полный тег в новую строку в разделе HTML-кода вашей страницы, известном как заголовок страницы. Скриншоты ниже помогут вам в этом.

Тег означает начало вашего заголовка:

Вот метатег для «noindex» и «nofollow», вставленный в заголовок:

А тег означает конец заголовок:

Бум! Вот и все. Этот тег сообщает поисковой системе, что нужно развернуться и уйти, оставив страницу вне результатов поиска.

No Index No Follow в HubSpot

Добавление метатегов «noindex» и «nofollow» стало еще проще. Все, что вам нужно сделать, это открыть инструмент HubSpot на странице, на которую вы хотите добавить эти теги, и выбрать вкладку «Настройки».

Затем в разделе «Дополнительные параметры» нажмите «Заголовок HTML». В окно ниже вставьте соответствующий фрагмент кода. В приведенном ниже примере я добавил тег «noindex» и «nofollow», так как это страница благодарности.

Нажмите «Сохранить», и все готово.

Успешно No Index No Follow a Page

Вы только что волшебным образом удалили свою страницу из результатов поиска. Теперь вы можете снова начать захватывать больше потерянных лидов.

Имейте в виду, что вы не увидите результатов мгновенно. Ваши изменения не вступят в силу, пока поисковая система не просканирует вашу страницу в следующий раз. В зависимости от того, как часто вы обычно публикуете новые страницы на своем веб-сайте, это может занять несколько недель. Чем чаще вы публикуете контент, тем чаще поисковые системы будут сканировать ваш сайт.