В объятиях интернета

Как создать блог и сайт бесплатно, установка и настройка плагина WordPress. Полезные ссылки интернета

Полезные_ссылки _интернета
  • Главная
  • Фотоотчет
  • О блоге|авторе
  • Контакты
  • Карта сайта
  • Услуга анализ блога
  • RSS
moneytime.com.ua → WordPress → Как проверить robots.txt в панели Yandex и Google.

Как проверить robots.txt в панели Yandex и Google.

/ Просм: 21835
ЛУЧШИЕ СТАТЬИ БЛОГА Moneytime.com.ua - все на одной странице

 

Здравствуйте уважаемые друзья moneytime.com.ua! Проверка robots.txt также важна, как и его правильное составление.

проверка_robots.txt_как_проверить_в_панели_yandex-i-google

Проверка файла robots.txt в панели Yandex и Google Webmasters.

Проверка robots.txt, почему важно проверить?

Рано или поздно каждый уважающий себя автор сайта вспоминает про файл robots. Про этот файл, размещаемый в корне сайта, написано в интернете предостаточно. Почти у каждого вебмастера есть статья на сайте про актуальность и правильность составления его. Я же в этой статье напомню начинающим блоггерам как проверить его с помощью инструментов в панели вебмастера, предоставляемые Yandex и Google.

Для начала немного о нем. Файл Robots.txt (иногда ошибочно называемый robot.txt, в единственном числе, внимание английская буква s в конце обязательна) создается веб-мастерам, чтобы отметить или запретить те или иные файлы и папки веб-сайта, для поисковых пауков (а также  других типов роботов). Т. е. те файлы, к которым робот поисковика  не должен иметь доступ.  :-?

Проверка robots.txt является для автора сайта обязательным атрибутом при создании блога на WordPress и его дальнейшем продвижении. Многие вебмастера также обязательно просматривают тепловую карту кликов страниц проекта. Анализ  дает понять роботам  правильный синтаксис, чтобы убедиться, в его действительном формате. Дело в том, что существует  установленный Стандарт исключений для роботов. Будет не лишним узнать мнение самих поисковиков, читайте документацию, в ней поисковые системы подробно излагают свое видение насчет этого файла.

Все это будет не лишним, дабы впредь обезопасить свой сайт от ошибок при индексировании. Знаю примеры, когда из-за неправильного составленного файла, был дан сигнал запретить его видимость в сети. При дальнейшем его исправлении можно долго ждать изменения ситуации вокруг сайта.  :-(

Останавливаться на правильном составлении самого файла  в этой статье не буду. Примеров в сети множество, можете зайти на блог любого популярного блоггера и приписать в конце его домена для проверки /robots.txt. Браузер покажет его вариант, который вы можете взять за основу. Однако у каждого бывают свои исключения, поэтому необходимо проверить именно для своего сайта на соответствие. Также описание и пример правильного текста для блога на WordPress находиться по адресу:

codex.wordpress.org


Sitemap: http: // ваш сайт/sitemap.xml

# Google Image

User-agent: Googlebot-Image

Disallow:

Allow: /*

 

# Google AdSense

User-agent: Mediapartners-Google*

Disallow:

 

# digg mirror

User-agent: duggmirror

Disallow: /

 

# global

User-agent: *

Disallow: /cgi-bin/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins/

Disallow: /wp-content/cache/

Disallow: /wp-content/themes/

Disallow: /trackback/

Disallow: /feed/

Disallow: /comments/

Disallow: /category/*/*

Disallow: */trackback/

Disallow: */feed/

Disallow: */comments/

Disallow: /*?

Allow: /wp-content/uploads/

Существуют некоторые различия в составлении и дальнейшей проверки файла robots.txt для основных поисковых систем Рунета. Ниже приведу примеры, как проверить в панели Яндекс Вебмастер и Google.

После того как вы составили файл и закинули его в корень своего сайта по FTP необходимо провести проверку его на соответствие к примеру поисковой системе Яндекс. Тем самым мы узнаем, не закрыли ли мы случайно те страницы, благодаря которым к вам придут посетители.  8-)

 

Проверка robots.txt в панели Yandex Webmaster


У вас должен быть аккаунт в панели Яндекс Вебмастер. Зайдя в инструменты и указав свой сайт, справа будет перечень доступных возможностей. Переходим на вкладку «Проверить robots.txt»

проверка_robots.txt_в_панели_яндекс

Указываем свой домен и жмем «Загрузить robots.txt с сайта». Если у вас составлен файл, в котором указано отдельно для каждой поисковой системы, то необходимо выбрать строки для Яндекс и скопировать их в поле ниже. Напоминаю, директива Host: актуальна для Янд., поэтому не забудьте внести в поле для проверки. Осталось сделать проверку robots.txt. Кнопка справа.

анализ_robots.txt

Буквально сразу увидите анализ от Яндекс на соответствие вашего robots.txt. Ниже будет указаны строки, которые Янд. принял к рассмотрению. И смотрим результаты проверки. Слева Url указаны директивы. Справа напротив сам результат. Как видно на скриншоте, правильно будет увидеть красным цветом надпись – запрещен правилом и указано само правило. Если вы указали директиву для индексации, то увидим зеленым – разрешен.  :twisted:

После проверки robots.txt, вы сможете подкорректировать свой файл. Также рекомендую проверить страницы сайта. Вставляем url адрес отдельной записи в поле /Список URL/. И на выходе получаем результат – разрешен. Так мы сможет отдельно проверить запреты на архивы, рубрики и далее.

Не забываем подписываться, в следующей статье планирую показать, как бесплатно пройти регистрацию в каталог Mail.ru. Не пропустите, подписка.

Как проверить в Yandex Webmasters.

 

Проверить robots.txt в панели Google Webmasters


Заходим в свой аккаунт и ищем слева /Состояние/ – /Заблокированные URL/

Здесь увидим его наличие и возможность отредактировать. При необходимости проверки всего сайта на соответствие указываем в поле ниже адрес главной страницы. Имеется возможность проверить, как видят разные роботы Google ваш сайт с учетом проверки файла robots.txt

проверка_robots.txt_в_панели_google

Кроме основного бота Google выбираем и робота специализирующегося на разных видах контента (2). Скриншот ниже.

 

  1. Googlebot
  2. Googlebot-Image
  3. Googlebot-Mobile
  4. Mediapartners-Google – показатели для AdSense
  5. AdsBot-Google – проверка качества целевой стр.

 

Показатели для других роботов Гугл я не нашел:

  • Googlebot Video
  • Googlebot-News

Прочитать про роботов Google – support.google.com/webmasters/bin/answer.py?hl=ru&answer=1061943

проверка_robots.txt_в_панели_Google Webmasters

По аналогии с проверкой файла роботс.тхт в панели Яндекс, здесь также есть возможность проанализировать отдельную страницу сайта. После проверки вы увидите результат отдельно для каждого поискового бота.

При условии, что результаты проверки вас не устроили, вам остается дальше продолжить редактировать. И в дальнейшем проверка.

 

Анализ robots.txt онлайн

Кроме этих возможностей, вы также можете сделать анализ файла robots.txt с помощью онлайн сервисов. Те которые я находил в основном англоязычные. Мне понравился этот сервис. После анализа будут даны рекомендации по его исправлению.

tool.motoricerca.info/robots-checker.phtml

 

На этом все. Надеюсь, проверка файла robots.txt глазами Яндекс и Google вас не расстроила? Если же увидели не соответствие вашим желаниям, то всегда можно отредактировать и затем сделать повторный анализ. Спасибо за ваш твит в Twitter  и лайк в Facebook!

Удача всегда с Вами! С Уважением, Александр.

Буду благодарен Друзья, за ваш голос этой статье!

Tweet

 

Получать обновления на E-Mail:

Подписка по RSS - Спасибо за подписку!

 

Предлагаю к просмотру видео, анализ и проверка.

Related Posts Plugin for WordPress, Blogger...
Предыдущие статьи этой же рубрики (откроются в новом окне):
  1. Как проверить ответ сервера в панели Яндекс Вебмастера?
  2. Как убрать ссылки с footer.php в шаблоне WordPress
  3. Статистика Google Analytics и социальные сети
  4. Как проверить прокси на работоспособность?
  5. Как закрыть внешние ссылки от индексации поисковиков
  6. Какие страницы ошибка 404 у популярных блоггеров Рунета?
  7. Как сделать удобным вход в админку WordPress

WordPress

/ Автор: Aleks7
Май 26, 2012
услуги-для-блоггеров

Приглашаю оставить комментарии к статье - Как проверить robots.txt в панели Yandex и Google.

Марина - 26.05.2012 в 20:08

Спасибо за статью :smile:
Как раз составила для блога файл robots.txt и проверить его собиралась. Теперь буду знать как. +++

Марник Владимир - 10.06.2012 в 11:31

А я как залил один раз, так и не вспоминаю.
Выберу время и прослушаю видеоуроки, полчаса все-таки.Вдруг чего-то упустил.
Вот с .htaccess проблем больше быдо у меня – блог вылетал из-за него. Пришлось прописать директиву 400 – только для чтения.
Но в этом случае некоторые плагины не работают нормально.

Aleks7 - 10.06.2012 в 12:19

Владимир, с файлом конфигурации .htaccess были тоже проблемы. До сих пор что-то добавляю в него или наоборот удаляю. :cool:

Ульяна - 16.06.2012 в 18:52

Алекс, а что запрещается директивой Disallow: /wp-includes? И что это за includes? Когда я проверяю site/wp-includes выдает ошибку 403

Aleks7 - 16.06.2012 в 21:02

Ульяна, запрещая папку wp-includes, вы ставите запрет на индексацию файлов и папок движка WordPress. Например стандартные смайлики WordPress и др.
Ошибка 403 показывает запрет на доступ к этой папке. Как вариант, может выставлены неправильные права на папку.

Ульяна - 16.06.2012 в 22:29

Спасибо,Алекс! Если доступ запрещен, то может не надо еще и в robots прописывать?

Ульяна - 16.06.2012 в 23:34

Алексей, а как запретить в robots подобные адреса:
http://lifescolours.ru/puteshestvuem-s-rasteniyami/yagoda-puteriya-kogda-kisloe-stanovitsya-sladkim.html#comments ?

Aleks7 - 17.06.2012 в 20:47

Ульяна, страницы с комментариями я закрыл директивой Disallow: */comments. Существуют подобные для запрета всех видов комментариев в файле robots.txt:
Disallow: /comments/
Disallow: */comments/
Disallow: */comment-page-*

Ульяна - 17.06.2012 в 21:02

Алекс, я скопировала у Вас эту часть robots. Но когда я нажимаю под заметкой «комментарии», то эта страница у меня индексируется (получается дублированный контент?) А у Сергея (Бери Максимум) на данный момент какой-то robots странный…

Aleks7 - 17.06.2012 в 23:18

Ульяна, я не понял эту часть – «Но когда я нажимаю под заметкой «комментарии», то эта страница у меня индексируется (получается дублированный контент?)». Если можно раскрыть вопрос по другому.

Ульяна - 18.06.2012 в 00:17

Например, у меня открыта запись. Под ней указаны: дата публикации, комментарии, рубрика, метки (такая тема). Я загружаю в Яндекс.Метрике свой robots.txt и затем проверяю (список URL): дату, рубрику, метки – запрещено к индексации (как указано в роботсе), а проверяю комменты – а они индексируются. Раскрыла вопрос?

Aleks7 - 18.06.2012 в 09:07

дело в том, что на изменения в файле robots.txt поисковик не сразу отреагирует. Пройдет некоторое время, прежде чем станет видна его реакция.

Владимир - 10.10.2012 в 19:24

Роботы этот файл ищут в первую очередь. Примеров robots.txt в сети конечно много, но в любом случае, нужно ознакомиться с командами, чтобы правильно составить код под себя.

Комментирование временно закрыто

« Как проверить ответ сервера в панели Яндекс Вебмастера?
Бан сайта: проверить и узнать причины, как снять бан »

Поиск

rss_podpiska

Подписка по RSS

Хотите получать новые статьи на почту?

Введите свой e-mail:

Об авторе

avtor Привет, друзья! Благодарен, что вы стали читателем этого блога. В блоге пишу на темы: как создать блог/сайт, настройка плагинов WordPress, сервисы. Поделюсь с вами своим личным опытом.

Перейти на Google+ За мной в Twitter За мной на Youtube
  • В объятиях рубрик

    >> Работает горничная :)

    category_wordpressWordPress
    category_bojcyБойцы
    category_zarabotatЗаработать
    category_interviewИнтервью
    category_itogiИтоги
    category_plaginyПлагины
    category_poznay_mirПознай мир
    category_poleznoe_v_interneteПолезное в интернете
    category_programmyПрограммы
    kak-zarabotat-na-youtubeЗаработать на YouTube
    category_photootchetuФотоотчеты
    category_yandex-i-googleЯндекс и Google
  • Рекомендую

    • 14 способов, как привлечь трафик на сайт
    • Гостевой доступ в Google Analytics, как создать новый профиль
    • Анализ блога программой Site-Auditor
    • Защита сайта от вирусов.
    • Керчь 2010 и достопримечательности Керчи.
    • Достоверная информация смерть Иисуса Христа.
  • Популярное


    биржа Адвего отзывы

    как работать с Словоеб и скачать

    плагин linkwithin для перелинковки

    проверить скорость работы сайта 14 серв.

    социальные сети для анонса

    узнать цену сайта онлайн

    изменить объем жесткого диск

    как правильно складывать чертежи по ГОСТ

    аквапарк Евпатория цены и фото

    в поселке Коктебель нудиский пляж фото

    про Коктебель веб камера онлайн

    Святогорский монастырь Украина

    приколы Гугла/Google

    добавить сайт в аддурилки Яндекс и Гугла (13)

    забирайте код инвайта

    аквапарк Судак отзывы и фото

    куда можно загрузить видео
  • Комментарии

    • Евгения к записи Биржа Адвего – отзывы о работе.
    • Ольга Семенова к записи Биржа Адвего – отзывы о работе.
    • Aleks7 к записи Код инвайта необходим
    • Константин к записи Код инвайта необходим
  • Поиск на moneytime.com.ua

  • Макхост — надежный хостинг для блога

  • приколы Google

    аддурилка Яндекса_Google

    инвайт на Webice

    Лучшие статьи блога вместе

    Присоединяйтесь_к_группе_на_Subscribe
  • Advego.ru

    - заработок для вебмастеров;

    2domains

    - дешёвые домены 99р. для сайтов;

    Ukrnames

    - домены и хостинг

Сopyright © 2018 В объятиях Интернета - Как создать блог/сайт бесплатно, установка и настройка плагина WordPress. Полезные ссылки интернета | Копирование материалов с разрешения автора и ссылки на - moneytime.com.ua

LiveInternet