Как скрыть интересные страницы в контакте: Как скрыть интересные страницы в ВК от других пользователей и убрать

Как скрыть интересные страницы в ВК от других пользователей и убрать

Эту статью мы создали для тех, кто хочет узнать, как скрыть интересные страницы в ВК в своём аккаунте с помощью компьютера или с мобильного телефона. Так что, если вам интересна эта тема, просто выберите инструкцию, которая покажется вам наиболее подходящей, и вперёд!

С компьютера

Для всех, кто для общения в социальных сетях использует преимущественно персональный компьютер или ноутбук, мы создали две подробных инструкции как скрыть интересные сообщества.

1. Первая из них подойдёт для того, чтобы скрыть сообщества, в профиле которых стоит обозначение «группа».
2. А вторая – для возможности скрыть те сообщества, которые позиционируют себя как «Публичная страница».

С их помощью скрыть в ВК свои интересные страницы от всех сможет абсолютно любой человек, даже если он не слишком хорошо разбирается в тонкостях управления социальными сетями.

#1 Скрыть через настройку приватности групп ВК

Вот как убрать интересные страницы в ВК не отписываясь от них, а просто изменив настройки приватности.

• Зайдите в свой профиль ВК и найдите в правом верхнем углу своё имя и аватарку. Кликните по ним.
• Выберите пункт «Настройки».

• В правой части экрана сверху можно найти меню с разделами.  Перейдите в раздел «Приватность», щёлкнув по нему мышкой.
• В первом блоке обратите внимание на четвёртую строку – «Кто видит список моих групп». По умолчанию здесь выставлен параметр «Все пользователи». Кликните по этой фразе и перед вами появится меню с возможными вариантами.

Выберите тот вариант, который подходит именно вам – это может быть «Только друзья», может быть «Все, кроме…» (тут можно будет выбрать имена тех людей, от которых вы хотите скрыть свои интересные страницы), а можно выбрать и «Только я».

#2 Скрыть через сохранение в закладки ВК

Если вы пока не разобрались, можно ли скрыть список интересных страниц в ВК через закладки, то воспользуйтесь нашей подробной инструкцией.

Шаг первый – активируем раздел «Закладки».  Если такой раздел в меню слева у вас уже есть, то смело переходите сразу ко второму шагу!

• Зайдите в свой аккаунт ВК и найдите вверху справа маленькое изображение вашей аватарки. Щёлкните по нему мышкой.
• В выпадающем меню выберите раздел «Настройки».

• В правой части экрана вы увидите список всех доступных разделов. Кликните по блоку «Общее».
• Найдите строку «Меню сайта». Вам нужно кликнуть по строке «Настроить отображение пунктов меню».

• Щёлкните мышью по разделу «Основные».
• Теперь найдите в списке пункт «Закладки» для его активации поставьте напротив галочку.

  

• В самом низу экрана справа вы увидите виртуальную кнопку «Сохранить». Кликните по ней мышкой.

Шаг второй – добавляем в «Закладки»:

• Вернитесь в свой профиль ВК. Под вашей фотографией и друзьями будет расположен блок «Интересные страницы». Кликните по нему.

• Выберите из списка сообщество, которое хотите скрыть, и войдите в него.
• Под главной картинкой сообщества (рядом с «Вы подписаны») найдите виртуальную кнопку с тремя точками и словом «Еще».

• Кликните по пункту «Сохранить в закладках».

• Теперь нажмите на «Вы подписаны» и кликните по «Отписаться». Теперь для того, чтобы увидеть интересующий Вас профиль, Вам нужно будет открыть свои закладки.

После того, как вы смогли сделать так, чтобы не видно было интересные страницы в ВК, можно легко проверить полученный результат. Для этого:

1. Зайдите в настройки приватности, прокрутите страницу в самый низ;
2. Кликните по «Посмотреть, как видят вашу страницу другие пользователи».

Перед тем, как спрятать какую-либо информацию, подумайте: если у Вас возникла об этом мысль, может имеет смысл закрыть профиль целиком?

С телефона или планшета

Если вы хотите узнать, как в ВК спрятать интересные страницы, и используете для сёрфинга по социальным сетям мобильное устройство (телефон или планшет), то вот подходящие для вас инструкции.

1. Первая из них предназначена для сокрытия сообществ, которые называются «группы».
2. А вторая – для тех сообществ, которые называются «Публичные страницы».

Если вы подписаны и на те, и на другие, то можете использовать обе инструкции по очереди:

#1 Скрыть через настройки приватности групп ВК

Вы легко сможете закрыть интересные страницы в ВК от посторонних через раздел «Приватность».

• Нажмите два раза на значок профиля и дотроньтесь до  слова «Настройки».

• Выберите раздел «Приватность».

• Найдите графу «Кто видит список моих групп» и коснитесь её.

• Выберите вариант, который подходит вам больше всего, а потом нажмите на кнопку «Сохранить» в конце списка.

#2 Скрыть через сохранение в закладки ВК

А вот как в два шага можно скрыть из общего доступа нужную информацию, спрятав её в закладках.

Обратите внимание на то, что действия производятся в мобильной версии сайта, в приложении такие действия недоступны 🙁

Шаг первый – активировать блок «Закладки». Если такой раздел в меню у вас уже есть, то смело переходите сразу ко второму шагу!

Шаг второй – скрыть интересные сообщества ВК из общего доступа:

• Нажмите на значок Сервисы внизу и зайдите в свои сообщества.

• Откройте нужное сообщество и сверху найдите прямоугольник с тремя точками. Нажмите на него и коснитесь «Добавить в закладки».

• Теперь коснитесь надписи «Вы подписаны». Для того, чтобы скрыть интересное сообщество из общего доступа, нажмите «Отписаться». Теперь вы всегда сможете найти его в закладках.

Если вы хотите убедиться, удалось ли вам удалить интересные страницы в ВКонтакте из общего доступа, то для этого совсем не обязательно заходить с чужого аккаунта.

• Достаточно вернуться в раздел «Приватность» (как это сделать, описано в первой инструкции), прокрутить раздел вниз до самого конца и найти подсвеченную синим надпись «Посмотреть, как видят вашу страницу другие пользователи».

• Кликнув по ней вы увидите получившийся результат.

Поздравляем! Теперь вы знаете, как скрыть интересные страницы в ВКонтакте от других пользователей самостоятельно и легко сможете выбрать наиболее подходящий для вас способ.

Если что-то показалось вам непонятным или в процессе выполнения инструкций возникли какие-то вопросы, вы свободно можете задать их нашим специалистам, заполнив форму для комментариев. Мы с удовольствием поможем вам справиться с любыми проблемами!

Как скрыть информацию о себе в VK

«ВКонтакте» — крупнейшая в России социальная сеть, которой каждый месяц пользуются более 100 миллионов человек. Многие здесь не только общаются в чатах и читают паблики, но и хранят фотографии, музыку, заметки, информацию о своих вкусах, увлечениях и взглядах.

Не хотите делиться всем этим — а еще номером телефона и семейным положением — со случайными пользователями? Не надо! В соцсети можно легко настроить, кто и какую информацию о вас увидит, а также сделать так, чтобы посторонним было сложнее вас найти. Рассказываем о нужных вам настройках на примере браузерной версии VK — в мобильном приложении все работает похожим образом.

• Раздел «Приватность» в настройках VK
• Как настроить, кто может оставлять записи на моей странице и комментарии к ним
• Как спрятать свои фотографии во «ВКонтакте»
• Как быстро скрыть большую часть данных
• Как скрыть друзей во «ВКонтакте»
• Как закрыть личку «ВКонтакте» и запретить вам звонить
• Как сделать так, чтобы вашу страницу «ВКонтакте» было сложнее найти
• Как отредактировать информацию в профиле во «ВКонтакте»
• Хотите посмотреть на себя со стороны?

Раздел «Приватность» в настройках VK

Основные настройки доступа к вашим личным данным происходят в разделе «Приватность». Чтобы туда попасть, нажмите на свое фото профиля и выберите Настройки → Приватность.

Раздел «Приватность»

Этот раздел делится на несколько секций:

• Моя страница — здесь можно настроить, кто и что увидит в вашем профиле, а также запретить посторонним отправлять вам заявки на добавление в друзья.
• Записи на странице — эта секция посвящена настройке того, кто может оставлять записи на вашей странице и комментарии под ними.
• Фотографии — секция для настройки того, кто сможет отмечать вас на фотографиях, видеть фото, на которых вас уже отметили, а также место, где сделан снимок.
• Связь со мной — секция, отвечающая за возможность писать вам личные сообщения, звонить, приглашать в сообщества, беседы и так далее.
• Истории — здесь без сюрпризов: отмечайте, кто сможет видеть ваши истории, отвечать на них и отправлять мнения.

Для каждого типа данных можно выбрать, кто именно будет иметь к ним доступ. Некоторые режимы понятны без пояснений: «Все пользователи», «Только друзья», «Друзья и друзья друзей», «Только я». Но есть и более тонкие настройки:

• Все, кроме…. — данные смогут увидеть все пользователи, кроме выбранных вами. Нажмите на этот вариант, и вам предложат решить, кому закрыть доступ.
• Некоторые друзья — контент смогут просматривать только выбранные вами люди из списка друзей. То есть тут можно выбрать, кому разрешить доступ.
• Некоторые списки друзей — если вы создавали списки друзей, например «коллеги» или «клиенты», можно разрешить просматривать отдельные разделы страницы только им.

Как настроить, кто может оставлять записи на моей странице и комментарии к ним

Профиль пользователя «ВКонтакте» начинается с его страницы, поэтому важно следить за тем, кто может оставлять на ней записи. Чтобы настроить подходящий уровень приватности, в разделе Настройки нажмите Приватность → Записи на странице. Здесь вы можете настроить и то, кто может оставлять записи на вашей странице, и то, кто сможет их видеть. Для этого выберите удовлетворяющий вас режим доступа к информации из списка.

Секция «Записи на странице»

С комментариями дела обстоят интереснее. В разделе Записи на странице вы также можете настроить, кто их может оставлять и видеть. Но если вам этого недостаточно и вы хотите отключить возможность комментирования всех записей на вашей странице, придется перейти в раздел настроек Общее. Чтобы раз и навсегда отключить возможность комментариев, в секции Настройки профиля найдите пункт Отключить комментирование записей и поставьте возле него галочку.

Отключение комментариев

Как спрятать свои фотографии «ВКонтакте»

Еще одна деликатная тема для пользователей VK — настройка доступа к фотографиям. В разделе Настройки → Приватность → Моя страница можно скрыть только те изображения, которые вы сохраняете себе из самой соцсети — из пабликов или со страниц друзей. Эти настройки не затрагивают фотографии, которые вы сами добавляете в свой профиль с устройств. Тем не менее, если не хотите задумываться, откуда и что вы сохраняете во «ВКонтакте», выберите в этом пункте режим Только я или Только друзья.

Чтобы настроить доступ к загруженным вами фотографиям, необходимо перейти в раздел Фотографии в меню слева. Дело в том, что при загрузке изображения «ВКонтакте» предлагает вам выбор: создать новый альбом или добавить фото в уже существующий. Чтобы настроить видимость фотографий из старого альбома, в разделе Фотографии нужно нажать на символ карандаша на его обложке и выбрать подходящий режим доступа.

Ну а при создании нового альбома вы заранее можете выбирать, кто сможет просматривать и комментировать фотографии в нем, из уже привычного нам набора режимов.

Настройки доступа при создании нового альбома фотографий

Также советуем обратить внимание, что с 2020 года «ВКонтакте» появилась технология распознавания лиц. Если алгоритмы VK узнают пользователя на фото, соцсеть предложит ему или его друзьям отметить, кто находится в кадре, и добавить ссылку на профиль. Иными словами, друзья смогут отмечать вас на любых фото. И любой, кто увидит такие фото с отметками, сможет в один клик перейти на вашу страницу. Вы против? Чтобы запретить посторонним отмечать вас, вернитесь в раздел настроек Приватность → Фотографии → Отметки на фото и нажмите Управление. Далее откажитесь от не устраивающих вас пунктов и не забудьте в конце нажать кнопку «Сохранить», чтобы все ваши старания не прошли даром.

Настройки отметок на фотографиях

Как быстро скрыть большую часть данных

Если вам не хочется долго копаться в меню, можно повысить приватность «оптом» — сделать профиль закрытым. Для этого нажмите на свое фото в правом верхнем углу экрана, перейдите в Настройки → Приватность → Прочее → Тип профиля и выберите Закрытый.

Делаем свой профиль закрытым

При переключении на закрытый профиль все настройки приватности автоматически изменятся на более строгие, и все ваши данные станут доступны только друзьям. Нетронутыми останутся только те разделы, которые вы ранее скрыли даже от них, то есть выбрали режим «Только я».

Опасаетесь закрывать все «вслепую»? «ВКонтакте» предупредит вас, как изменятся те или иные настройки профиля, и попросит подтверждения, прежде чем изменения вступят в силу.

«ВКонтакте» показывает изменения в настройках приватности при закрытии профиля

Как скрыть друзей во «ВКонтакте»

Не стоит забывать и о том, что многое о вас можно узнать через аккаунты родственников и близких друзей. Чтобы ваши связи было сложнее отследить, добавьте в список скрытых друзей близких. Туда же можно поместить людей, знакомство с которыми вы просто не хотите афишировать. Для этого нажмите на свое фото в правом верхнем углу экрана, перейдите в Настройки → Приватность → Моя страница → Кого видно в списке моих друзей и подписок и выберите, каких друзей из предложенного списка вы хотите спрятать от посторонних глаз. Тогда их не будет видно вообще никому, даже тем, от кого вы не скрыли список остальных друзей.

Настройки списка друзей

Как закрыть личку «ВКонтакте» и запретить вам звонить

По умолчанию писать и звонить через VK вам могут все пользователи сервиса. Чтобы ограничить доступ к личке, нажмите на фото профиля в правом верхнем углу экрана и перейдите в

Настройки → Приватность. Нужные опции собраны в секции Связь со мной:

• Кто может писать мне личные сообщения.
• Кто может мне звонить.
• С кем устанавливать прямое соединение в звонках. Прямое соединение отличается от простых звонков лучшим качеством связи — но еще и тем, что собеседник может узнать ваш IP-адрес. Поэтому с этой функцией будьте особенно осторожны.

Настройки ограничений для звонков и личных сообщений

В этой же секции Связь со мной вы можете выбрать, кто сможет приглашать вас в приложения, сообщества и беседы.

Как сделать так, чтобы вашу страницу «ВКонтакте» было сложнее найти

Если не хотите, чтобы страница высвечивалась всем и каждому, кто решил поискать ваши имя и фамилию на просторах Интернета, нажмите на фото в правом верхнем углу экрана, в выпадающем меню выберите Настройки → Приватность → Прочее → Кому в Интернете видна моя страница. Здесь есть три варианта настроек:

• Всем — так вас сможет найти любой человек, просто введя имя в поисковик.
• Всем, кроме поисковых сайтов — ваш профиль смогут найти пользователи «ВКонтакте», если они вошли в аккаунт и ищут по людям. Кроме того, страницу увидят все, у кого есть прямая ссылка на нее.
• Только пользователям ВКонтакте — здесь все так же, как и в предыдущем варианте, но с одной разницей: перейдя на вашу страницу по прямой ссылке, неавторизованный в соцсети человек увидит только имя, фамилию и стандартную картинку с собакой вместо фотографии профиля.

Настраиваем, кто в Интернете может найти вашу страницу

Стоит помнить, что найти ваш профиль можно не только через поисковик. Мобильное приложение VK умеет синхронизировать контакты и автоматически добавлять в раздел с рекомендациями «Возможно, вы знакомы» страницы тех, чьи номера у вас записаны. Если вы не хотите, чтобы вашу страницу во «ВКонтакте» случайно обнаружили, скажем, клиенты или начальник, нажмите на фото в правом верхнем углу экрана, перейдите в Настройки → Приватность → Связь со мной → Кто может найти мой профиль при импорте контактов и выберите Никто.

Настраиваем импорт контактов

Настроить, кто видит информацию из вашего профиля вроде даты и места рождения, можно через Настройки → Приватность → Моя страница → Кто видит основную информацию моей страницы. А вот чтобы отредактировать саму информацию, которую вы когда-то указали в своем профиле, придется в главном меню слева перейти в раздел Моя страница → Показать подробную информацию → Редактировать. Здесь вы увидите также несколько секций:

• Основное — в этой секции собрана главная информация о вас: фамилия и имя, дата и место рождения. Здесь же можно указать или, наоборот, удалить своих родственников. Особое внимание стоит обратить на дату рождения. Ее в VK можно скрыть совсем или оставить видимыми только месяц и день, без года.

Настройка видимости даты рождения

• Контакты — эта секция посвящена способам связаться с вами. В ней можно указать место вашего проживания, Skype и номера телефона. В случае с последними VK позволяет настроить, кому они будут доступны. Вы можете выбирать из режимов Только друзьям, Только мне, Всем друзьям, кроме…, Некоторым друзьям — в чем разница мы объяснили в начале этого поста.

Настройка видимости телефона и города проживания

• Интересы — здесь можно рассказать о своих любимых книгах, фильмах, музыке и многом другом.
• Образование — в этой секции пользователь может рассказать о том, в какой школе и университете он или она учились.
• Карьера — в этой секции может быть собрана информация о вашем карьерном пути.
• Военная служба — тут возможна информация о месте службы.
• Жизненная позиция — самая философская секция, которая служит для рассказа о вашем отношении к алкоголю, курению, религии и прочему.

При желании вы можете удалить или скрыть всю информацию из всех секций, кроме имени и фамилии. Остаться инкогнито можно, только если зарегистрироваться под псевдонимом — хотя администрация соцсети этого не одобряет и оставляет за собой право не восстанавливать доступ к аккаунтам с ненастоящими данными.

Вероятнее всего, информацию в профиле вы заполняли еще при регистрации во «ВКонтакте». С тех пор многое могло поменяться, поэтому мы рекомендуем вернуться к ней сейчас, чтобы проверить ее на актуальность — и, возможно, скрыть некоторые детали о себе, которыми вы больше не хотите делиться с другими людьми.

Хотите посмотреть на себя со стороны?

Как видите, настройки приватности в популярной соцсети очень подробные. С одной стороны, это хорошо — вы можете сами контролировать, кто и что о вас узнает. С другой, плохо — растет шанс пропустить что-то, что вам на самом деле важно.

Чтобы проверить, все ли вы учли, используйте функцию «ВКонтакте», которая позволяет посмотреть на себя глазами других пользователей. Для этого нажмите на фото профиля в правом верхнем углу экрана, выберите Настройки → Приватность. Нужная строка находится в самом низу. Так вы сможете посмотреть на свой профиль глазами и друзей, и неизвестных людей.

Проверка настроек приватности

Есть одно ограничение: к сожалению, в мобильном приложении так сделать не получится, так что придется экспериментировать на компьютере.

Не забывайте о безопасности

Теперь вы знаете, как настраивать приватность своих данных во «ВКонтакте». Для большей надежности советуем также защитить сам аккаунт — установить надежный пароль для входа, включить двухфакторную аутентификацию, завершить ненужные сеансы и так далее. О том, как это сделать, у нас есть отдельный пост.

Мы доверяем свои персональные данные не только VK, но и многим другим социальным сетям, мессенджерам и платформам — в них тоже важно выбрать правильные настройки приватности и безопасности. Если вы пользуетесь Telegram, Discord или Signal — у нас для вас есть инструкции.

Полное руководство по сокрытию страниц сайта от индексации

Индексация страниц сайта — это то, с чего начинается процесс поисковой оптимизации. Предоставление ботам движка доступа к вашему контенту означает, что ваши страницы готовы для посетителей, у них нет технических проблем, и вы хотите, чтобы они отображались в поисковой выдаче, поэтому всеобъемлющая индексация на первый взгляд кажется огромным преимуществом.

Однако некоторые типы страниц лучше держать подальше от SERP, чтобы обеспечить ваш рейтинг. Это означает, что вам нужно скрыть их от индексации. В этом посте я расскажу вам о типах контента, который нужно скрыть от поисковых систем, и покажу, как это сделать.

Содержание

1. Страницы, которые нужно скрыть от поиска
2. Как скрыть страницу из поиска
   1. Ограничение сканирования с помощью файлов robots.txt
   2. Ограничить индексирование с помощью метатега robots и тега X-Robots
      1. Роботы noindex метатег
      2. X-Robots-тег
3. Особые случаи

Страницы, которые нужно скрыть от поиска

Давайте без лишних слов приступим к делу. Вот список страниц, которые вам лучше скрыть от поисковых систем, чтобы они не появлялись в поисковой выдаче.

Страницы с личными данными

Защита контента от прямого поискового трафика обязательна, если страница содержит личную информацию. Это страницы с конфиденциальной информацией о компании, информацией об альфа-продуктах, информацией о профилях пользователей, личной перепиской, платежными данными и т. д. Поскольку частный контент должен быть скрыт от кого-либо, кроме владельца данных, Google (или любая поисковая система) не должен t сделать эти страницы видимыми для более широкой аудитории.

Страницы входа

Если форма входа размещена не на главной, а на отдельной странице, нет необходимости показывать эту страницу в поисковой выдаче. Такие страницы не несут никакой дополнительной ценности для пользователей, которую можно считать малосодержательным контентом.

Страницы благодарности

Это страницы, которые пользователи видят после успешного действия на веб-сайте, будь то покупка, регистрация или что-то еще. Эти страницы также, вероятно, будут иметь мало контента и практически не несут никакой дополнительной ценности для пользователей.

Версии страниц для печати или чтения

Содержимое страниц этого типа дублирует содержание основных страниц вашего веб-сайта, то есть эти страницы будут рассматриваться как дубликаты содержимого при сканировании и индексировании.

Страницы с похожими товарами

Это распространенная проблема для крупных интернет-магазинов, на которых много товаров, отличающихся только размером или цветом. Google может не определить разницу между ними и рассматривать их как дубликаты контента.

Внутренние результаты поиска

Когда пользователи приходят на ваш сайт из поисковой выдачи, они ожидают, что щелкнут вашу ссылку и найдут ответ на свой запрос. Не очередная внутренняя поисковая выдача с кучей ссылок. Поэтому, если ваши внутренние результаты поисковой выдачи попадут в индекс, они, скорее всего, не принесут ничего, кроме низкого времени пребывания на странице и высокого показателя отказов.

Страницы с биографией автора в блогах с одним автором

Если в вашем блоге все сообщения написаны одним автором, то страница биографии автора является чистой копией главной страницы блога.

Страницы форм подписки

Подобно страницам входа в систему, формы подписки обычно не содержат ничего, кроме формы для ввода ваших данных для подписки. Таким образом, страница а) пуста, б) не представляет ценности для пользователей. Вот почему вы должны запретить поисковым системам вытягивать их в поисковую выдачу.

Страниц в разработке

Эмпирическое правило: страницы, которые находятся в процессе разработки, должны быть недоступны для роботов поисковых систем, пока они не будут полностью готовы для посетителей.

Зеркальные страницы

Зеркальные страницы — это идентичные копии ваших страниц на отдельном сервере/в другом месте. Они будут считаться техническими дубликатами, если будут просканированы и проиндексированы.

Специальные предложения и рекламные целевые страницы

Специальные предложения и рекламные страницы предназначены для просмотра пользователями только после выполнения ими каких-либо специальных действий или в течение определенного периода времени (специальные предложения, события и т. д.). После завершения мероприятия эти страницы не должны быть видны никому, в том числе поисковым системам.

Хотите быстро научиться SEO?

Присоединяйтесь к нашему 30-дневному курсу SEO и ежедневно получайте по одному очень простому уроку SEO на свой почтовый ящик.

Как скрыть страницу из поиска

А теперь вопрос: как скрыть все вышеперечисленные страницы от надоедливых пауков и сохранить остальную часть вашего сайта видимой, как и должно быть?

При настройке инструкций для поисковых систем у вас есть два варианта. Вы можете ограничить сканирование или ограничить индексирование страницы.

Ограничение сканирования с помощью файлов robots.txt

Возможно, самый простой и прямой способ ограничить доступ сканеров поисковых систем к вашим страницам — это создать файл robots.txt. Файлы robots.txt позволяют заблаговременно исключить нежелательный контент из результатов поиска. С помощью этого файла вы можете ограничить доступ к одной странице, целому каталогу или даже одному изображению или файлу.

Как это работает

Создание файла robots.

txt

Процедура довольно проста. Вы просто создаете файл .txt со следующими полями:

• User-agent:  – в этой строке вы идентифицируете рассматриваемого поискового робота;
• Disallow:  – две или более строк, которые предписывают указанным поисковым роботам не получать доступ к определенным частям сайта.

Обратите внимание, что некоторые поисковые роботы (например, Google) также поддерживают дополнительное поле с именем Разрешить: . Как следует из названия, Разрешить: позволяет явно перечислить файлы/папки, которые можно сканировать.

Вот некоторые основные примеры файлов robots.txt.

*  в строке User-agent  означает, что всем ботам поисковых систем предписывается не сканировать ни одну из страниц вашего сайта, что обозначается / . Скорее всего, это то, чего вы предпочли бы избежать, но теперь вы поняли идею.

В приведенном выше примере вы запрещаете роботу изображений Google сканировать ваши изображения в выбранном каталоге.

Дополнительные инструкции о том, как писать такие файлы вручную, можно найти в руководстве разработчика Google.

Но процесс создания robots.txt можно полностью автоматизировать — существует множество инструментов, способных создавать такие файлы. Например, WebSite Auditor может легко скомпилировать файл robots.txt для вашего сайта.

Когда вы запустите инструмент и создадите проект для своего веб-сайта, перейдите к Структура сайта > Страницы , щелкните значок гаечного ключа и выберите Robots.txt .

Загрузите WebSite Auditor

Затем нажмите Добавить правило и указать инструкции. Выберите поискового робота и каталог или страницу, для которых вы хотите ограничить сканирование.

Загрузить WebSite Auditor

Когда вы закончите со всеми настройками, нажмите Далее , чтобы инструмент сгенерировал файл robots.txt, который вы затем можете загрузить на свой веб-сайт.

Чтобы просмотреть ресурсы, заблокированные для сканирования, и убедиться, что вы не запретили сканирование ничего, перейдите к Структура сайта > Аудит сайта и проверьте раздел Ресурсы, заблокированные от индексации :

Загрузить WebSite Auditor

Примечание: Хотя robots.txt запрещает поисковым системам сканировать определенные страницы, URL-адреса этих страниц все же могут быть проиндексированы, если другие страницы указывают на них с описательным текстом. URL-адрес с ограниченным доступом может отображаться в результатах поиска без описания, поскольку контент не будет сканироваться и индексироваться.

Также имейте в виду, что протокол robots.txt носит исключительно рекомендательный характер. Это не блокировка страниц вашего сайта, а больше похоже на «Личное — не входить». Robots.txt может предотвратить доступ «законопослушных» ботов (например, ботов Google, Yahoo! и Bing) к вашему контенту. Однако вредоносные боты просто игнорируют его и все равно просматривают ваш контент. Таким образом, существует риск того, что ваши личные данные могут быть удалены, скомпилированы и повторно использованы под видом добросовестного использования. Если вы хотите, чтобы ваш контент был на 100% безопасным, вам следует ввести более безопасные меры (например, добавить регистрацию на сайте, скрыть контент под паролем и т. д.).

Распространенные ошибки

Вот наиболее распространенные ошибки, которые допускают люди при создании файлов robots.txt. Внимательно прочитайте эту часть.

1) Использование прописных букв в имени файла. Имя файла — robots.txt. Период. Не Robots.txt и не ROBOTS.txt

2) Не помещать файл robots.txt в основной каталог

3)  Заблокировать весь ваш веб-сайт (если вы этого не хотите), оставив инструкцию запрета следующим образом

4)  Неверное указание user-agent

5)  Упоминание нескольких каталогов в одной строке запрета. Для каждой страницы или каталога нужна отдельная строка

6)  Оставить строку агента пользователя пустой

7) Список всех файлов в каталоге. Если вы скрываете весь каталог, вам не нужно заморачиваться перечислением каждого отдельного файла

8)  Строка запрета инструкций вообще не упоминается

9)  Не указана карта сайта внизу файла robots.txt

10)  Добавление инструкций noindex в файл

Ограничить индексирование с помощью метатега robots и тега X-Robots

Использование метатега robots noindex или тега X-Robots страницу, но предотвратить попадание страницы в индекс, т.е. от появления в результатах поиска.

Теперь давайте рассмотрим каждый вариант поближе.

Метатег robots noindex

Метатег robots noindex размещается в исходном коде HTML вашей страницы (раздел). Процесс создания этих тегов требует совсем немного технических знаний и может быть легко выполнен даже младшим SEO-специалистом.

Как это работает

Когда бот Google получает страницу, он видит метатег noindex и не включает эту страницу в веб-индекс. Страница по-прежнему сканируется и существует по указанному URL-адресу, но не будет отображаться в результатах поиска независимо от того, как часто на нее ссылаются с любой другой страницы.

Примеры метатегов robots

Добавление этого метатега в HTML-код вашей страницы указывает роботу поисковой системы проиндексировать эту страницу и все ссылки переход с этой страницы.

Изменяя «follow» на «nofollow», вы влияете на поведение бота поисковой системы. Вышеупомянутая конфигурация тега указывает поисковой системе индексировать страницу, но не переходить ни по каким ссылкам, размещенным на ней.

Этот метатег указывает роботу поисковой системы игнорировать страницу, на которой он размещен, но переходить по всем размещенным на нем ссылкам.

Этот тег, размещенный на странице, означает, что ни страница, ни содержащиеся на ней ссылки не будут отслеживаться или индексироваться.

Примечание: Упомянутые выше атрибуты nofollow и follow не имеют ничего общего с rel=nofollow. Это две разные вещи. Rel=nofollow применяется к ссылкам, чтобы предотвратить передачу ссылочного веса. Упомянутый выше атрибут nofollow применяется ко всей странице и не позволяет сканерам переходить по ссылкам.

X-Robots-tag

Помимо метатега robots noindex, вы можете скрыть страницу, настроив ответ HTTP-заголовка с X-Robots-Tag со значением noindex или none .

Помимо страниц и элементов HTML, X-Robots-Tag позволяет не индексировать отдельные файлы PDF, видео, изображения или любые другие файлы, отличные от HTML, где использование метатегов robots невозможно.

Как это работает

Механизм очень похож на механизм тега noindex. Как только поисковый бот заходит на страницу, ответ HTTP возвращает заголовок X-Robots-Tag с инструкциями noindex. Страница или файл все еще сканируются, но не отображаются в результатах поиска.

Примеры тегов X-Robots

Это наиболее распространенный пример HTTP-ответа с указанием не индексировать страницу.

HTTP/1.1 200 OK

(…)

X-Robots-Tag: noindex

(…)

Вы можете указать тип поискового бота, если вам нужно скрыть свою страницу от определенных ботов. В приведенном ниже примере показано, как скрыть страницу от любой другой поисковой системы, кроме Google, и запретить всем ботам переходить по ссылкам на этой странице:

X-Robots-Tag: googlebot: nofollow

X-Robots-Tag: otherbot: noindex, nofollow

Если вы не укажете тип робота, инструкции будут действительны для всех типов сканеров.

Чтобы ограничить индексирование определенных типов файлов на всем веб-сайте, вы можете добавить инструкции ответа X-Robots-Tag в файлы конфигурации программного обеспечения веб-сервера вашего сайта.

Вот как вы ограничиваете все файлы PDF на сервере на базе Apache:

  Набор заголовков X-Robots-Tag «noindex, nofollow»

И те же инструкции для NGINX:

location ~* \.pdf$ {

  add_header X-Robots -Тэг » noindex, nofollow»;

}

Чтобы ограничить индексацию одного элемента, для Apache используется следующий шаблон:

# файл htaccess должен быть помещен в каталог соответствующего файла.

  Набор заголовков X-Robots-Tag «noindex, nofollow»

А вот как вы ограничиваете индексацию одного элемента для NGINX:

location = /secrets/unicorn.pdf {

  add_header X-Robots-Tag «noindex, nofollow»;

}

Тег robots noindex против X-Robots-Tag

Хотя тег robots noindex кажется более простым решением для ограничения индексации ваших страниц, в некоторых случаях использование X-Robots-Tag для страниц является лучший вариант :

• Не индексировать весь поддомен или категорию. X-Robots-Tag позволяет вам делать это массово, избегая необходимости помечать каждую страницу одну за другой;
• Нет индексирования файла, отличного от HTML. В этом случае X-Robots-Tag — не лучший, а единственный вариант, который у вас есть.

Тем не менее, помните, что только Google точно следует инструкциям X-Robots-Tag. Что касается остальных поисковых систем, то нет гарантии, что они правильно интерпретируют тег. Например, Seznam вообще не поддерживает теги x-robots. Поэтому, если вы планируете, чтобы ваш веб-сайт отображался в различных поисковых системах, вам необходимо использовать тег robots noindex 9.0161 во фрагментах HTML.

Распространенные ошибки

Наиболее распространенные ошибки пользователей при работе с тегами noindex:

1) Добавление неиндексируемой страницы или элемента в файл robots.txt. Robots.txt ограничивает сканирование, поэтому поисковые боты не будут заходить на страницу и видеть директивы noindex. Это означает, что ваша страница может быть проиндексирована без содержания и по-прежнему отображаться в результатах поиска.

Чтобы проверить, попала ли какая-либо из ваших папок с тегом noindex в файл robots.txt, проверьте Инструкции для роботов в разделе Структура сайта > Страницы WebSite Auditor.

Загрузить WebSite Auditor

Примечание. Не забудьте включить экспертные параметры и снять флажок «Следовать инструкциям robots.txt» при сборке проекта, чтобы инструмент видел инструкции, но не следовал им.

2) Использование прописных букв в директивах тегов. Согласно Google, все директивы чувствительны к регистру, поэтому будьте осторожны.

Особые случаи

Теперь, когда с основными проблемами индексации контента все более-менее понятно, перейдем к нескольким нестандартным случаям, заслуживающим отдельного упоминания.

1)  Убедитесь, что страниц, которые вы не хотите индексировать, не включены в вашу карту сайта . На самом деле карта сайта — это способ сообщить поисковым системам, куда идти в первую очередь при сканировании вашего сайта. И нет причин просить поисковых ботов посещать страницы, которые вы не хотите, чтобы они видели.

2) Тем не менее, если вам нужно деиндексировать страницу, которая уже присутствует в карте сайта, не удаляйте страницу из карты сайта, пока она не будет повторно просканирована и деиндексирована поисковыми роботами. В противном случае деиндексация может занять больше времени, чем ожидалось.

3) Защитите паролем страницы, содержащие личные данные. Защита паролем — самый надежный способ скрыть конфиденциальный контент даже от тех ботов, которые не следуют инструкциям robots.txt. Поисковые системы не знают ваших паролей, поэтому они не попадут на страницу, не увидят конфиденциальный контент и не выведут страницу в поисковую выдачу.

4) Чтобы поисковые роботы не индексировали саму страницу, но переходили по всем ссылкам на странице и индексировали контент по этим URL-адресам , настройте следующую директиву

Это обычная практика для внутренних страниц результатов поиска, которые содержат много полезных ссылок, но сами по себе не несут никакой ценности.

5) Для конкретного робота могут быть указаны ограничения индексации. Например, вы можете заблокировать свою страницу от новостных ботов, ботов с изображениями и т. д. Имена ботов могут быть указаны для любого типа инструкций, будь то файл robots.txt, метатег robots или X-Robots-Tag.

6) Не используйте тег noindex в A/B-тестах , когда часть ваших пользователей перенаправляется со страницы A на страницу B. Так как если noindex сочетается с 301 (постоянной) переадресацией, то поисковые системы получат следующие сигналы:

• Страница A больше не существует, так как она навсегда перемещена на страницу B;
• Страница B не должна быть проиндексирована, так как она имеет тег noindex.

В результате обе страницы A и B исчезают из индекса.

Чтобы правильно настроить A/B-тест, используйте переадресацию 302 (временную) вместо 301. Это позволит поисковым системам сохранить старую страницу в индексе и вернуть ее, когда вы закончите тест. Если вы тестируете несколько версий страницы (A/B/C/D и т. д.), используйте тег rel=canonical, чтобы отметить каноническую версию страницы, которая должна попасть в поисковую выдачу.

7) Используйте тег noindex, чтобы скрыть временные целевые страницы. Если вы скрываете страницы со специальными предложениями, рекламными страницами, скидками или любой тип контента, который не должен утекать, то запрещать этот контент с помощью файла robots.txt — не лучшая идея. Поскольку сверхлюбопытные пользователи все еще могут просматривать эти страницы в вашем файле robots.txt. В этом случае лучше использовать noindex , чтобы случайно не скомпрометировать «секретный» URL публично.

Подводя итог

Теперь вы знаете основы того, как найти и скрыть определенные страницы вашего сайта от внимания поисковых роботов. И, как видите, процесс на самом деле несложный. Только не смешивайте несколько типов инструкций на одной странице и будьте внимательны, чтобы не скрыть страницы, которые должны отображаться в поиске.

Я что-то пропустил? Делитесь своими вопросами в комментариях.

Google объясняет, как скрыть веб-сайт из результатов поиска

Google говорит, что лучший способ скрыть веб-сайт из результатов поиска — это пароль, но есть и другие варианты, которые вы можете рассмотреть.

Эта тема освещена в последнем выпуске серии видеороликов Ask Googlebot на YouTube.

Джон Мюллер из Google отвечает на вопрос о том, как предотвратить индексацию контента в поиске и разрешено ли это делать веб-сайтам.

«Короче говоря, да, можете, — говорит Мюллер.

Есть три способа скрыть сайт из результатов поиска:

• Использовать пароль
• Обход блока
• Индексация блока

Веб-сайты могут либо полностью отказаться от индексации, либо проиндексироваться и скрыть контент от робота Googlebot с помощью пароля.

Блокировка контента от робота Googlebot не противоречит рекомендациям для веб-мастеров, если он одновременно заблокирован для пользователей.

Например, если сайт защищен паролем при сканировании роботом Googlebot, он также должен быть защищен паролем для пользователей.

В качестве альтернативы сайт должен иметь директивы, запрещающие роботу Googlebot сканировать или индексировать сайт.

У вас могут возникнуть проблемы, если ваш веб-сайт предоставляет другой контент для робота Googlebot, чем для пользователей.

Это называется «маскировкой» и противоречит рекомендациям Google.

С учетом этого различия, вот правильные способы скрытия контента от поисковых систем.

1. Защита паролем

Блокировка веб-сайта паролем часто является лучшим подходом, если вы хотите сохранить конфиденциальность своего сайта.

Пароль гарантирует, что ни поисковые системы, ни случайные пользователи сети не смогут увидеть ваш контент.

Это обычная практика для веб-сайтов в разработке. Публикация веб-сайта в режиме реального времени — это простой способ поделиться с клиентами незавершенной работой, не позволяя Google получить доступ к веб-сайту, который еще не готов к просмотру.

2. Заблокировать сканирование

Еще один способ запретить роботу Googlebot доступ к вашему сайту — заблокировать сканирование. Это делается с помощью файла robots.txt.

С помощью этого метода люди могут получить доступ к вашему сайту по прямой ссылке, но она не будет обнаружена «приличными» поисковыми системами.

По словам Мюллера, это не лучший вариант, потому что поисковые системы могут индексировать адрес веб-сайта без доступа к его содержимому.

Такое случается редко, но о такой возможности вам следует знать.

3. Заблокировать индексирование

Третий и последний вариант — заблокировать индексирование вашего веб-сайта.

Для этого вы добавляете на свои страницы метатег noindex robots.

Тег noindex указывает поисковым системам не индексировать эту страницу до тех пор, пока после они не просканируют ее.

Пользователи не видят метатег и могут нормально открывать страницу.

Заключительные мысли Мюллера

Мюллер завершает видео, говоря, что главная рекомендация Google — использовать пароль:

«В целом, для частного контента мы рекомендуем использовать защиту паролем.