создание сайтов в Raduga-Net.ru Дизайн-студия «Raduga-Net»
  Создаём вас в Интернете
Главная > Правильный Robots.txt для Wordpress

 

Неправильно индексируется блог? Правильный Robots.txt решит проблему!

12 октября 2012 года

Robots.txt для Wordpress

Здравствуйте, друзья! Сегодня я Вам расскажу, что такое файл robots.txt, зачем он нужен Вашему блогу, а также какой файл robots.txt будет правильным для Вашего блога на WordPress и как его установить.

Правильный robots.txt

Для начала разберем, что это за файл такой — robots.txt — и зачем он нужен.

Robots.txt – это текстовый файл (мы видим это по расширению txt), в котором записываются различные команды для поисковых рботов, которые указывают им, какие страницы на Вашем блоге индексировать, а какие нет.

Ну например такие:

«Гугл, ты че не видишь это дубль?? Не надо эту страницу индексировать, брысь!»

или

«Яндекс, а ну быстро приходи проиндексируй мою новую статью и сразу поставь ее в ТОП!»

Эхх, классно было бы конечно, если бы можно было так командовать над поисковиками, но это, конечно же, шутка :)

Такие команды поисковики не понимают, а понимают они только язык символов. Именно на нем и составлен robots.txt. Вот сами посмотрите, как например выглядит robots.txt моего блога:

Robots.txt моего блога

Только сразу не пугайтесь, самим прописывать все эти странные каракули Вам не придется. Обычно, этот файл берется готовым и просто загружается на сайт. И этот файл я Вам дам для скачивания в конце статьи.

Почему я Вам рекомендую установить на свой блог файл Robots.txt и почему это так важно?

Дело в том, что несмотря на то, что на Вашем блоге возможно всего 20 или 30 статей, в ссылочном варианте страниц намного больше, но большинство из них не разные страницы, а так называемые дубли, т.е. одинаковые страницы, но продублированные. Чтобы Вам было понятнее, приведу пример:

Ссылка на статью о конкурсе, который я провожу на своем блоге, выглядит так http://raduga-net.ru/konkurs-kto-takoy-blogger.html

А ссылка на комментарии к этой статье http://raduga-net.ru/konkurs-kto-takoy-blogger.html#comments

Для нас, простых смертных, это одна и та же страница, с той лишь разницей, что вторая ссылка позволяет нам сразу перейти к комментариям. Это удобно.

Для поисковиков же это 2 разные страницы, потому что 2 разные ссылки. И если они проиндексируют обе, то это создаст дублированный контент на моем блоге, который ухх как поисковые роботы не любят. Моя страница будет понижена в выдаче, а может даже попадет в бан. А если весь блог в таких дублях, то скорей всего весь блог попадет в бан, в так называемый АГС.

Но у меня этого не произойдет, потому что у меня установлен robots.txt, который блокирует 2-ю ссылку от индексации.

Надеюсь, Вы поняли важность установки файла robots.txt, а также именно правильного robots.txt, в котором занесены правильные команды для поисковиков.

Robots.txt для WordPress

Теперь давайте разберем, как установить этот файл на Ваш блог WordPress.

1-й шаг

Скачиваем файл robots.txt (когда скачаете, разархивируйте, я специально занесла файл в архив, т.к. гугл хром текстовые файлы не скачивает, а открывает в новой вкладке).

2-й шаг

<>Открываем этот файл обычным блокнотом или в программе notepad++ и меняем домен сайта на Ваш домен так, как это показано на скриншоте (после изменений не забудьте сохранить файл).

Правильный robots.txt

3-й шаг

Загружаем этот файл в корневую папку блога (у блога wordpress она называется public_html) через админку хостинга либо через FTP.

После этого страницы Вашего блога пройдут переиндексацию, но так и должно быть, так что не пугайтесь, если на какое-то время Ваши статьи вылетят из выдачи, потом все встанет на свои места.

Ну вот и вся наука, теперь Вы знаете, как установить правильный robots.txt для wordpress. В дальнейшем буду делиться и другой полезной информацией по настройке и продвижению блога.

Также массу полезной информации о том, как сделать сайт и на нем зарабатывать, Вы можете найти на блоге моего друга Евгения Вергус. Не забывайте, что у Евгения на блоге проходит отличный конкурс «Самый честный отзыв на инфопродукт!»

И еще одна важная новость:

Сегодня последний день скидки на новый видеокурс Евгения Попова «Как создать информационный бестселлер на DVD или CD»

Только для читателей моего блога я как партнер Евгения Попова предоставляю Вам дополнительную скидку в 10%. Купон скидки LADY_3F2

Посмотреть описание курса

Евгений дает скидки на свои курсы очень редко, только во время запуска и на некоторые праздники, так что успейте воспользоваться возможностью. Я уже курс приобрела и начала изучать. И могу сказать, что курс не только качественный и полезный, но и очень красиво оформлен, глаз не нарадуется

Другие полезные и качественные обучающие курсы можно посмотреть здесь – Рекомендую.

Новое на блоге:

 


Комментарии

SVETLANA пишет:
12 Октябрь 2012 в 14:53
Где же вы были раньше со своей статьей? Я вот тут полезла в яндекс и нашла столько копий и дублей на свой сайт, сначала не поняла в чем дело, ведь файл роботс точно заливала, это помню. А когда пошла на хостинг – не нашла его, в чем причина его исчезновения не знаю, может что-то изменилось после падения моего блога.
А вот по наблюдению у всех на сайте разные файлы, у кого-то больше, у кого-то меньше, у Борисова вообще для меня непонятные значения, а еще стандартный файл не подходит для тех, кто установил рекламу гугл, что-то нужно добавлять. В общем для меня дебри, то там одно услышу, то тут, но пока к единой ясной мысли не пришла.
Предлагаю свою новую статью: Какие бывают схемы по вышивке крестом

НАДЕЖДА КОВАЛЬСКАЯ пишет:
16 Октябрь 2012 в 16:31
Светлана, то, что все разные файлы предлагают – это правда. Но эта версия файла пока не подводила, да и порекомендовал мне ее блоггер, у которого почти тысяча посетителей в день :) Так что я ему верю)

ВЛАДИМИР ВОЛКОВ пишет:
12 Октябрь 2012 в 16:30
Надя,спасибо огромное!
Вчера только искал информацию по этой теме.
Мне бы еще карту сайта сделать и настроить?

НАДЕЖДА КОВАЛЬСКАЯ пишет:
12 Октябрь 2012 в 16:37
Владимир, заказ принят :) В ближайшее время напишу статью о том, как карту сайта настраивать. Но могу сразу сказать – нужны 2 плагина: Google XML Sitemaps – для создания xml-файла карты сайта, и еще Dagon Design Sitemap Generator – для создания страницы “Карта сайта”. Второй плагин через поиск по-моему не находится, я Вам могу в скайпе его скинуть.

ВЛАДИМИР ВОЛКОВ пишет:
13 Октябрь 2012 в 5:46
Спасибо,Надя!Первый плагин установил,второй буду ждать по скайпу.Так, глядишь, и пробьется блог в ТОП. =)

НАДЕЖДА КОВАЛЬСКАЯ пишет:
13 Октябрь 2012 в 5:52
Конечно, пробьется! :) Но только карты сайта и robots.txt – это только первые шаги к этому. Это скорее не продвижение, а правильная оптимизация блога.

OLGA пишет:
12 Октябрь 2012 в 16:42
Проверила роботс во всех своих сайтах и точно – везде стоит один и тот же домен, да еще какой-то кодировкой непонятной! Вот тормоз… Огромное спасибо за напоминание. посмотрим, будет ли разница в отношении ко мне поисковиков.
Кстати, вашу книгу прочитала, все руки не доходят написать отзыв (знаю, отмазки :) Спасибо за полезную информацию и мотивацию!

НАДЕЖДА КОВАЛЬСКАЯ пишет:
12 Октябрь 2012 в 16:52
Ольга, рада, что моя статья помогла Вам исправить ошибку! За отзыв о книге спасибо!

ВАСИЛИЙ пишет:
12 Октябрь 2012 в 17:15
У меня тоже точно такой стоит. Его давали в школе СтартАп. Настройки там нормальные, такой вариант стоит на многих успешных блогах. Есть, правда, и другие варианты этого файла.
Для карты сайта не обязательно ставить именно Dagon Design Sitemap Generator, у меня стоит плагин WP DS Blog Map, он по моему ничем не хуже.
Предлагаю свою новую статью: Boilsoft Video Splitter — программа для нарезки видео

НАДЕЖДА КОВАЛЬСКАЯ пишет:
12 Октябрь 2012 в 17:57
Василий, я не отрицаю, что есть и другие варианты (я имею в виду плагин, который делает карту сайта), я лишь назвала тот, который стоит у меня. В любом случае, спасибо за добавление!

ДЕЛИТАНТ пишет:
12 Октябрь 2012 в 17:43
Надо же, пишу как раз о робот.тексте :) А как ты считаешь нужно запрещать в нем к индексации страницы архивов (тегов, категорий)?

НАДЕЖДА КОВАЛЬСКАЯ пишет:
12 Октябрь 2012 в 17:56
У меня стоит запрет на индексацию архивов, категорий и тегов в плагине All in one SEO Pack, думаю, этого достаточно.

SVETLANA пишет:
12 Октябрь 2012 в 18:11
Надежда, а как работает форма комментариев? Я когда писала вам первый коммент, не было комментов, а сейчас уже 8 и моего нет???? :(

НАДЕЖДА КОВАЛЬСКАЯ пишет:
16 Октябрь 2012 в 16:32
Форма комментариев работает нормально, а вот плагин от спама впервые дал сбой :) Несколько комментариев попали в спам. Только сейчас проверила и увидела. Прошу прощения!

ЭРИКА пишет:
13 Октябрь 2012 в 2:22
Здравствуйте, Надежда! Я посмотрела ваш robots и у меня появился вопрос, у вас в robots все запрещающие строки, а как насчет разрешающих? Например Allow: /wp-content/uploads/ У меня когда-то стоял подобный вашему robots, но мне рекомендовали добавить в него выше переведенную строку. Заранее благодарю за разъяснения!
Предлагаю свою новую статью: Овощной слоеный салат

НАДЕЖДА КОВАЛЬСКАЯ пишет:
13 Октябрь 2012 в 5:55
Эрика, насколько я понимаю цель этого файла – он и создается как раз для того, чтобы запретить какие-то отдельные страницы блога к индексации, все, что не запрещено, соответственно разрешено. Тогда зачем дополнительные строки, которые что-то разрешают? Хотя возможно, Вам правильно порекомендовали, я лишь рекомендую то, что когда-то порекомендовали мне. Я бы сама этот файл тоже не создала :)

АЛЁНА СЕМЁНОВА пишет:
13 Октябрь 2012 в 5:44
Ой, Наденька, спасибо тебе огромное. Так всё понятно и подробно объяснила, что даже особо одарённые поняли :-D . Сейчас с ноутом разберусь(иду завтра покупать взамен сломавшегося, выявился заводской брак у прежнего) и сразу же установлю себе в админку этот самый роботс тхт =)

НАДЕЖДА КОВАЛЬСКАЯ пишет:
13 Октябрь 2012 в 5:53
Если и особо одаренные поняли, то значит статья удалась :) Если будут вопросы с загрузкой файла, обрайщайся!

АЛЁНА СЕМЁНОВА пишет:
13 Октябрь 2012 в 13:20
Да, да, Надюша, и особо одарённые, однако, поняли :-D Обращусь, непременно, мне бы ещё счётчик на блог установить, надо к Ключам сходить, поспрашать. У них где то был урок по установлению этого самого счётчика 8)

НАДЕЖДА КОВАЛЬСКАЯ пишет:
13 Октябрь 2012 в 14:34
Ален, я ж тебе обещала урок записать, все времени не найду. Но в скором времени будет обязательно!

ВАСИЛИЙ пишет:
13 Октябрь 2012 в 7:22
Алёна, а что у вас не было этого файла?
Предлагаю свою новую статью: Яндекс.Диск теперь до 20 ГБ бесплатно!

АЛЁНА СЕМЁНОВА пишет:
13 Октябрь 2012 в 13:50
А я не знаю, Василий, стоИт он у меня или нет *CRAZY*

НАДЕЖДА КОВАЛЬСКАЯ пишет:
13 Октябрь 2012 в 14:40
Ален, если сама не ставила, и никто не помогал, то тогда не стоит. Я проверила вот этим сервисом *** Пишут, что у не стоит у тебя robots.txt

ВАСИЛИЙ пишет:
13 Октябрь 2012 в 14:58
Адёна установите этот файл обязательно. Счетчик поставили или нет?
Предлагаю свою новую статью: Как увеличить посещаемость сайта

АЛЁНА СЕМЁНОВА пишет:
13 Октябрь 2012 в 16:04
Нет, конечно, Василий, не поставила я счётчик…

АЛЁНА СЕМЁНОВА пишет:
13 Октябрь 2012 в 16:04
Эх хе, ну я сама то поставлю вмиг :-D , одарённая ведь. Конечно, Надь, не буду ставить сама. А то голову сверну у бложика своего, лучше обращусь к умникам или умницам…

НАДЕЖДА КОВАЛЬСКАЯ пишет:
13 Октябрь 2012 в 18:29
Ален, ну так в чем вопрос? Напиши мне данные от своего блога на почту, я тебе прям завтра и поставлю счетчик.

АЛЁНА СЕМЁНОВА пишет:
13 Октябрь 2012 в 18:35
Оооо, спасыба, нащалныка :-D
Хорошо, Наденька, уже кидаю…на почту данные
Предлагаю свою новую статью: На мой взгляд, «идеальная семья — это…»

НАДЕЖДА КОВАЛЬСКАЯ пишет:
13 Октябрь 2012 в 19:19
Ален, я тебе давно уже намекаю на помощь, а ты все никак :) Надо было сразу прямо говорить))

АЛЁНА СЕМЁНОВА пишет:
15 Октябрь 2012 в 9:52
Да, пожалуй…надо было сразу и конкретно… одарённая ведь *CRAZY*. Я оказывается и здесь отличилась. Пароль прислала, а логин то зачем?! :-D Ладно, уже отправила по гмаил.
А у меня новый ноут, тебе первой хвалюсь. Надеюс, что этот агрегат прослужит у меня долго, а то привыкаю я к машинкам как к родным, а когда они из строя выходят и их менять…. Не комфортно как то… =) Они(компьютеры, автомобили, мобильные телефоны, принтеры моей сильной энергетики не выносят, однако… :-D
Сегодня винду на ноутбучек мой установили(не решилась сама из – за своей сугубой “одарённости” в технических вопросах). Экранище большущий, окно браузера так мелко смотрится, на весь экран развернула и потерялась… в окне… :-D
В общем, сижу… кайфую…

НАДЕЖДА КОВАЛЬСКАЯ пишет:
15 Октябрь 2012 в 13:09
Ален, с обновкой тебя! Отметим? :) А счетчик поставлю сегодня-завтра.

ПАВЕЛ пишет:
13 Октябрь 2012 в 8:14
Ссылка на Ваш robots.txt – http://raduga-net.ru/robots.txt
Достаточно ввести этот url в адресную строку

НАДЕЖДА КОВАЛЬСКАЯ пишет:
13 Октябрь 2012 в 14:41
Павел, достаточно для чего? Чтобы посмотреть, как выглядит мой robots? Спасибо за добавление. Действительно, так тоже можно посмотреть.

ЛЮДМИЛА ВИНОКУРОВА пишет:
13 Октябрь 2012 в 17:48
Надя, этот файл мне давал ещё Сергей Белов.Я его загрузила и с тех пор он так и находится в корне блога.
Его ведь менять не надо – пусть там так и будет?

НАДЕЖДА КОВАЛЬСКАЯ пишет:
13 Октябрь 2012 в 18:28
Люда, сверь, если все сходится, то пусть конечно будет. Он мне когда-то тоже давал, но по-моему я потом меняла на вот этот. Хотя точно не помню.

ЛЮДМИЛА ВИНОКУРОВА пишет:
18 Октябрь 2012 в 11:40
Ладно, спасибо, Надя, поменяю на твой, потому что отличия есть! *IN LOVE*

ЕВГЕНИЙ ВЕРГУС пишет:
14 Октябрь 2012 в 5:56
Правильный robots.txt это залог успеха, но советую добавить в статью объяснение директивы Disallow: /*?* если на блоге не настроены ЧПУ ссылок, то данная директива закроет от индексации все страницы :) Она нужна, конечно, но надо знать, что при использовании данного файла, необходимо настроить ссылки, в самом ссылке не должно быть знака “?”
Надь, у тебя новая группа на Сабскрайбе, а ты молчишь, я уже вступил.
Предлагаю свою новую статью: Анонсы конкурсов или как подзаработать в интернете

НАДЕЖДА КОВАЛЬСКАЯ пишет:
14 Октябрь 2012 в 10:35
Женя, спасибо за добавление! Я ведь хотела об этом написать, но видимо во время написания статьи это из головы вылетело.. Да, это очень важно, чтобы ссылки были настроены. Сделаю добавление в статье.

ЕВГЕНИЙ ВЕРГУС пишет:
16 Октябрь 2012 в 18:09
Да, я помню сколько было проблем, в свое время, у моих пользователей из-за этой дерективы :) но потом все уладили =)

НАДЕЖДА КОВАЛЬСКАЯ пишет:
14 Октябрь 2012 в 10:36
А про группу я еще собиралась написать, сейчас просто пока баннер поставила. Всех приглашаю!

ВАСИЛИЙ пишет:
14 Октябрь 2012 в 8:25
А я не заметил новую группу. А как группа называется?
Предлагаю свою новую статью: Как удалить программу из списка «Открыть с помощью»

ВАСИЛИЙ пишет:
14 Октябрь 2012 в 8:28
Сейчас заметил, она оказывается есть на этой странице. Вот так мы видим страницы, что даже такой баннер остался не замеченным.
Предлагаю свою новую статью: Дополнения Mozilla Firefox. FEBE

НАДЕЖДА КОВАЛЬСКАЯ пишет:
14 Октябрь 2012 в 10:37
Это нормально, если все на сайте рассматривать, слишком много времени уйдет :)

ВАСИЛИЙ пишет:
14 Октябрь 2012 в 14:45
В группу вступил. Добавлю какой-нибудь анонс.
Предлагаю свою новую статью: Яндекс.Диск теперь до 20 ГБ бесплатно!

НАДЕЖДА КОВАЛЬСКАЯ пишет:
14 Октябрь 2012 в 15:41
Добро пожаловать, Василий! Анонс добавляйте! В ближайшее время займусь группой, чтобы побольше участников вступило.

НИКИТА РЯБИН пишет:
14 Октябрь 2012 в 14:58
Когда я создавал этот файл, потратил около 15 минут, и до сих пор всё отлично работает, индексируется, и то что не нужно скрыто.
Предлагаю свою новую статью: Конкурс «Расскажи о молодёжи» с призовым фондом более 2000 рублей!

НАДЕЖДА КОВАЛЬСКАЯ пишет:
16 Октябрь 2012 в 16:33
Никита, спасибо за комментарий! Он почему-то в спам попал по ошибке, сейчас вот только увидела..

АЛЁНА СЕМЁНОВА пишет:
15 Октябрь 2012 в 15:40
Ага, спасибо, Надюша =)

ВАСИЛИЙ пишет:
16 Октябрь 2012 в 11:27
Видео про счетчик Алене нужно посмотреть на канале у Нади.
Предлагаю свою новую статью: Плагин Invisible Captcha. Невидимая капча — защита сайта от спама

НАДЕЖДА КОВАЛЬСКАЯ пишет:
16 Октябрь 2012 в 11:34
Как быстро Вы уже в курсе :) Это видео уже в новой статье!

АЛЁНА СЕМЁНОВА пишет:
17 Октябрь 2012 в 17:17
да, посмотрела уже, Василий, а толку… Видимо уже регинась на этом ливинтернете, но не паролей, ни аккаунта своего найти не могу… *SORRY*

НАТАЛЬЯ пишет:
16 Октябрь 2012 в 16:58
Ставила тхт по материалам старт апа. Они чем – то принципиально отличаются?
Предлагаю свою новую статью: Мышкин. Это интересно!

НАДЕЖДА КОВАЛЬСКАЯ пишет:
16 Октябрь 2012 в 17:01
Наталья, это вроде тот же самый.

NAME NIKA пишет:
21 Декабрь 2012 в 12:58
Надя, здравствуйте. Я тоже ставила роботс по материалам Стартапа. Но он от вашего отличается. Вы могли бы посмотреть , что с ним не так? Я увы в этом не разбираюсь. С уважением Ольга.

НЕРАДИВЫЙ БУХГАЛТЕР пишет:
17 Октябрь 2012 в 11:21
У меня вот только недавно руки до роботса дошли)) На 4м месяце блога)

НАДЕЖДА КОВАЛЬСКАЯ пишет:
17 Октябрь 2012 в 18:12
Вашему блогу меньше полугода??? Неужели?? Я не верю :)

НЕРАДИВЫЙ БУХГАЛТЕР пишет:
17 Октябрь 2012 в 19:08
Сейчас ему 6 месяцев, у меня относительные недавно, я вообще плохо ориентируюсь во времени.

НАДЕЖДА КОВАЛЬСКАЯ пишет:
17 Октябрь 2012 в 19:20
Хаха, круто)) Хотя 2 месяца – это правда недавно)) А блог Вы создали вообще почти вчера)) За 6 месяцев такие результаты – здорово! Один конкурсный ажиотаж чего стоит!

НЕРАДИВЫЙ БУХГАЛТЕР пишет:
31 Октябрь 2012 в 7:44
Да ажиотажа хватает, мне это оч нравится, а вот не хватает поискового трафика. чтобы народа и ажиотажа было еще больше! В ноябре я проведу еще один конкурс! По круче первого! %)

АЛЁНА СЕМЁНОВА пишет:
31 Октябрь 2012 в 14:05
Если можно, то не про исчезновение чего то или кого то. А то я итак одарённая, с полуслова понимаю и делаю с лёту :-D , а если напишу конкурсную статью на тему типа:”Конец света!!! Некому читать твой блог,” =-O то реально что – нибудь наподобие произойдёт :-D . Поисчезают все в Хэлоуин, в другую реальность или измерение переместятся, а ты тут… на Земле…совсем один, одинёшенек…
Эка меня занесло, вот нагородила… *CRAZY* Предлагаю свою новую статью: Релакс — сайт по Аленсовски.

ВЯЧЕСЛАВ БАЛАШОВ пишет:
18 Октябрь 2012 в 13:45
Как показывает жизненная практика – стандартный robots.txt, который вы выложили вполне удовлетворяет многим задачам.
Предлагаю свою новую статью: Как сделать карту сайта или блога

ОЛЕГ пишет:
26 Октябрь 2012 в 20:46
Ну вообще-то страница с #comments в этом robots.txt разрешена к индексации. А не считается она дублем благодаря тегу rel=”canonical”, который указывает на основную страницу. По моему так.
Предлагаю свою новую статью: С меня хватит офиса, работаю в интернете на дому

НАДЕЖДА КОВАЛЬСКАЯ пишет:
27 Октябрь 2012 в 19:16
Олег, спасибо за разъяснение! Читала на другом блоге, что ссылки “ответить” в комментариях создают дубли. Мне даже рекомендовали отключить древовидные комментарии. Но я проверила, в поисковиках этих дублей не было. Поэтому решила, что они блокируются файлом robots.txt. А что это за тег такой canonical?

НАТАЛЬЯ пишет:
28 Октябрь 2012 в 11:08
Скачала робот. Но у меня он не такой как на скрине. там стоит много нулей в каждой строчке

НАДЕЖДА КОВАЛЬСКАЯ пишет:
28 Октябрь 2012 в 11:15
Хм.. Еще ни разу не видела роботс с нулями..

НАТАЛЬЯ пишет:
28 Октябрь 2012 в 11:38
Я со своим сверилась. У меня без нулей, а тот, что скачала по Вашей ссылке – с нулями. Но мой однозначно нужно менять, т.к. только что нашла ошибку – два раза употреблена директива HOST. Вот теперь не знаю, что исправлять

НАДЕЖДА КОВАЛЬСКАЯ пишет:
28 Октябрь 2012 в 11:41
Наталья, кроме Вас пока еще никто не жаловался, что в моем файле нули… Как Вы скачивали?

НАТАЛЬЯ пишет:
28 Октябрь 2012 в 11:47
Может просто не обращали внимание? Там не одни нули. Идет строка, а после нее от 1 до 3 нудей. Между строками, там где разрыв -по 3 нуля. Надежда вы сами сейчас попробуйте скачать и разархивировать.
Я скачивала как обычно – кликнула по строчке, выпало окошко. Я выбрала где мне сохранить. После этого зашла в папку и разархивировала. Сравнила со своим и обратила внимание на нули. Я могу на почту скрин выслать

НАДЕЖДА КОВАЛЬСКАЯ пишет:
28 Октябрь 2012 в 11:49
Наталья, вот сейчас специально заново скачала и посмотрела – у меня нет нулей, выглядит точно так, как на скриншоте в статье… Нулей не должно быть..

ALIAKSANDR пишет:
30 Октябрь 2012 в 21:50
Сразу извиняюсь, но можно я немного покритикую? Спасибо.
1. Надо бы читателям уточнить, что в строчке Host: vashsait.ru, файла robots.txt необходимо указывать основное зеркало сайта (с www или без, ведь при продвижении сайта это будет считаться разными именами).
2.”У блога wordpress она называется public_html” – не факт, у разных хостеров может быть разное название папки, будь то public_html или www или html..
3. Директива Crawl-delay должна указывать после всех “Disallow” (“Allow”), иначе не все роботы могут ее воспринять.
4. Если у блога не настроены человекопонятные урлы, то ни в коем случае не стоит прописывать директиву Disallow: /*?*, иначе страницы выпадут из поиска, ведь у вордпресса (а у нас о нем идет речь) урлы обычно типа ?page=123, то есть вы просто-напросто запретите.
5. Вы пишете про удаление дублей, но смотрим что у вас с яндексом и гуглом. Судя по сайтмапу у вас порядка 60+ записей. В яндексе 61 страница, в гугле 4940. Возникает вопрос, откуда столько в гугле? Многова-то ведь. Что можно еще запретить в роботсе в нашем случае?
– Disallow: /page/ (у вас видимо плагин типа pagenavi, но индексировать их все же не надо).
– У вас используется плагин для древовидного вывода комментариев, в итоге гугл не то чтобы индексирует, но показывает то, что со стороны не особо нравится, т.е. все эти страницы, хоть и пишет, что они запрещены в роботсе. Поэтому я бы все же дополнил Disallow: /*? или Disallow: *?replytocom.
– И категории в принципе тоже можно убрать из индекса.
Ну, а чтобы проверить будут ли потом индексироваться такие ссылки, просто проверьте через панель вебмастера гугла.
С уважением Александр.
ЗЫ: подписался на ваш блог =)

НАДЕЖДА КОВАЛЬСКАЯ пишет:
30 Октябрь 2012 в 22:08
Ух, сколько добавлений! Спасибо, Александр! Первый пункт – точно, упущение, причем непростительное, я об этом знаю, но когда писала пост, не всплыло в памяти. Насчет 4-го пункта уже Евгений Вергус писал в комментариях, я с ним согласилась, тоже упустила, когда писала статью, хотя конечно же, это очевидно. Насчет остальных пунктов – спасибо за информацию, мужчины все же более в оптимизации понимают :) , я все-таки не сеошник и не претендую им быть, поэтому благодарю за комментарий! Какие конкретно изменения рекомендуете внести в файл? Спасибо за помощь!
P.S. Спасибо за подписку!

ALIAKSANDR пишет:
31 Октябрь 2012 в 8:21
Я все комментарии не осилил прочесть :) Мне бы столько на сайт. А изменения..хотя бы очистить replytocom попробовать) Чтобы не было такой существенной разницы в выдачах яши и гугла :)

НАДЕЖДА КОВАЛЬСКАЯ пишет:
31 Октябрь 2012 в 10:13
Александр, а разве вот эта строка Disallow: /*?* не закрывает от индексации ?replytocom ??
Я посмотрела анализ некоторых популярных блогов и тоже такая же ситуация – большая разница между количеством индексируемых страниц в яндексе и гугле. Может в чем-то другом причина?

ALIAKSANDR пишет:
31 Октябрь 2012 в 10:22
По сути закрывает, но у гугла свои приколы. Как вариант, на эту тему можно глянуть тут ***

НАДЕЖДА КОВАЛЬСКАЯ пишет:
31 Октябрь 2012 в 17:53
Александр, спасибо за ссылку! У меня действительно куча таких страниц в гугле, наверное их он и считает.. Нужно взяться за исправление.. Сделаю по той статье, которую Вы прислали..

НАДЕЖДА КОВАЛЬСКАЯ пишет:
31 Октябрь 2012 в 17:53
Получается, гугл вообще на robots пофик? Он все равно индексирует?

ALIAKSANDR пишет:
31 Октябрь 2012 в 18:41
Ну не пофик, но в выдачу они их пихает, с пометкой что они запрещены в роботс.тхт.
Просто из-за чего мне не нравится такая разница Я/Г (яндекс/гугла). Вот смотрите, допустим вы продаете ссылки с сайта в том же ротапосте. Заходит человек, видит что гуглом проиндексировано 4тыщи страниц, а яндексом лишь 60+. Какая у него первая мысль? Правильно. Что сайт просто плохо индексируется яндексом и можно особого внимания на него не обращать. И дальше статистики он не полезет рассматривать сколько на самом деле статей написано. Сыграет человеческий фактор лени.
Блин я после ликера такой многословный становлюсь второй день подряд)))

НАДЕЖДА КОВАЛЬСКАЯ пишет:
31 Октябрь 2012 в 22:01
Александр, осторожнее с ликером, а то так все свои блоггерские секреты раскроете :)

ALIAKSANDR пишет:
1 Ноябрь 2012 в 5:42
Да я совсем не блогер, и блог у меня пустой, просто балуюсь временами :)

НАДЕЖДА КОВАЛЬСКАЯ пишет:
1 Ноябрь 2012 в 5:58
Блоггер-блоггер, знаем мы вас скрытных))))

ALIAKSANDR пишет:
31 Октябрь 2012 в 8:29
ЗЫ: а вообще сколько людей столько и мнений, в инете столько разных вариаций под вордпресс можно найти, что шизонуться))

НАДЕЖДА КОВАЛЬСКАЯ пишет:
31 Октябрь 2012 в 10:14
Да, я тоже видела разные варианты robots. Но этот мне порекомендовал надежный человек :)

ANNA пишет:
5 Ноябрь 2012 в 1:08
Надежда, добрый день! Спасибо за такую нужную и полезную для новичков статью. Но для меня этого мало. Мне нужна ваша помощь, если это возможно. Дело в том, что я не могу залить robots.txt на хостинг. У меня есть три папки на хостинге (в корневой папке), но папки public_html у меня нет.Вот здесь у меня и не стыковка. Вы не могли бы как-то мне помочь в моём “горе”. А поставить нужно мне НЕМЕДЛЕННО.Спасибо, что прочитали. Я читала, что вы предлагали Алёне поставить счётчик. Так может вы и мне поставите robots.txt? Я была бы вам очень благодарна, потому что я сама не справлюсь.Вы уж извините, если я прошу невозможное. Спасибо вам, удачи вам и всех земных благ.
Предлагаю свою новую статью: Притча «Доктор, Вылечите мою Душу»

НАДЕЖДА КОВАЛЬСКАЯ пишет:
5 Ноябрь 2012 в 12:12
Анна, наверное, на Вашем хостинге эта папка просто по-другому называется. Могу помочь, для начала давайте попробуем разобраться, и чтобы Вы сами сделали закачку файла (кстати, Алена в конце концов тоже сама поставила счетчик по моему уроку :) ), это для того, чтобы в дальнейшем у Вас снова не возникало трудностей с поиском корневой папки Вашего блога. Пришлите мне на почту данные Вашего хостинга, я посмотрю, а потом подскажу Вам в какую папку загружать.

ANNA пишет:
5 Ноябрь 2012 в 22:36
Надежда, огромное спасибо за то, что не отказали мне. Я тоже хочу попробовать сделать это сама. Сейчас усиленно работаю над этим. Подсознательно понимаю, что вопрос не очень сложный, и его я могу выполнить сама,но пока не могу. Я вам вышлю свои данные по хостингу на почту, а вы мне подскажете, в какую папку нужно закачать.Спасибо вам за вашу добрую душу!!!

НАДЕЖДА КОВАЛЬСКАЯ пишет:
6 Ноябрь 2012 в 5:59
Анна, ответила Вам по почте.

ALLEMIKO пишет:
2 Декабрь 2012 в 8:09
=)Весело на вашем блоге,хоть и случайно забрел :) зато не зря :-D

НАДЕЖДА КОВАЛЬСКАЯ пишет:
2 Декабрь 2012 в 19:27
Да, у нас скучно не бывает, заходите почаще :)

СЕРГЕЙ пишет:
18 Декабрь 2012 в 8:46
Вот битая ссылка *** в роботе я закрыл Disallow: /…/ это правильно?

НАДЕЖДА КОВАЛЬСКАЯ пишет:
18 Декабрь 2012 в 11:51
Если честно, не поняла вопроса и Ваше действие..

СЕРГЕЙ пишет:
18 Декабрь 2012 в 23:13
Много ссылок разорванных, посреди ссылки точки … закрыть через робот тхт ссылки можно так Disallow: /…/

СЕРГЕЙ пишет:
19 Декабрь 2012 в 9:52
Так можно закрывать Disallow: /…/?

НАДЕЖДА КОВАЛЬСКАЯ пишет:
19 Декабрь 2012 в 10:44
Сергей, я не в курсе, я никогда не сталкивалась с тем, чтобы ссылки вот так выглядели. Главное, как они выглядят у Вас в строке браузера. В браузере в принципе даже самые длинные ссылки выглядят нормально, без всяких точек..

ЕЛЕНА пишет:
22 Январь 2013 в 7:08
добрый день! Спасибо за статью. У меня робот установлен был, поменяла на Ваш . А индексации как не было, так и нет :(

ALIAKSANDR пишет:
22 Январь 2013 в 8:59
а вы их потвитайте, только что твитнул ваш тадж махал, и за 2 минуты он в индексе:P

НАДЕЖДА КОВАЛЬСКАЯ пишет:
22 Январь 2013 в 12:50
Елена, а как Вы смотрите индексацию? Я посмотрела, гугл Вас индексирует, в яндексе 3 странички. Вы в аддурилку добавляли свои статьи? И какой возраст у Вашего блога?

ALIAKSANDR пишет:
22 Январь 2013 в 12:52
Все индексируется =) Проверено вирусов нет)

ЕЛЕНА пишет:
22 Январь 2013 в 16:52
Ага, спасибо большое. Я наверно зря переживаю. В аддурилку начала добавлять. Возраст 1 месяц

СЕРГЕЙ пишет:
26 Январь 2013 в 12:30
В robots.txt запретил индексацию вообще всего, кроме непосредственно постов, страниц и главной страницы. Правильно? Или может разрешить индексировать что-то помимо этого?
Предлагаю свою новую статью: Основные ошибки начинающих блоггеров

НАДЕЖДА КОВАЛЬСКАЯ пишет:
26 Январь 2013 в 12:41
Сергей, а как же загружаемые картинки? Они у Вас индексируются?

СЕРГЕЙ пишет:
30 Январь 2013 в 22:10
Вроде да, в индексе вижу. Правда, тот блог, что по ссылке, веду активно пару месяцев, а трафика с поисковиков нет вообще. Только с социалок. Это тревожный сигнал или нужно подождать еще?
Предлагаю свою новую статью: Плагин Better Feed. Оптимизация RSS-ленты WordPress

АЛЕКСАНДР пишет:
30 Январь 2013 в 22:16
Все будет =) Кстати два раза сайтмап можете не прописывать, хватит и 1го)
Предлагаю свою новую статью: Обзор бесплатных сервисов для анфолловинга (unfollow) в Twitter’е

НАДЕЖДА КОВАЛЬСКАЯ пишет:
30 Январь 2013 в 22:46
Трафика нет – это одно. Главное, чтобы статьи индексировались. Сейчас посмотрела через сервис – 26 страниц в яндексе. Если индексируется, то все в порядке. А вот трафик от другого зависит. Я уже более полугода этот блог активно веду, а до сих пор трафика с поиска не очень много. Над этим работать надо.

СЕРГЕЙ СТЕКЛОВ пишет:
30 Январь 2013 в 13:48
Мне кажется, что это не совсем правильный robots. Я лично целый день отмучился, прежде чем переделать его. И то пока точно не знаю, правильно ли я все предусмотрел. Анализировал наиболее популярные блоги, читал подобные статьи. Надеюсь, что Гоша меня не забанит из-за дублей. У меня в нем всего 8% статей не под фильтрами. С Яшкой проблем таких особо нет.
У вас к стати очень много дублей от Гоши и всего 1% статей не под фильтрами. Смотрите, чтоб он не забанил. Рекомендую срочно доделать robots.

НАДЕЖДА КОВАЛЬСКАЯ пишет:
30 Январь 2013 в 22:03
Когда последний раз анализировала, было больше страниц не под фильтрами. Да и это видимо нормально, слышала, что у гугла есть основной индекс и дополнительный. Главное, чтобы основная ссылка на статью без хвостиков была в основном индексе. А на все 100% с дублями я еще сама не разобралась. Надо это сделать. Не понимаю, почему гуглу недостаточно файла robots. У меня в закладках лежит статья о том, как отключить дубли в самом гугловском вебмастере, там что-то типа танцев с бубном. Если получится станцевать удачно этот ритуальный танец, то отпишусь в статье об этом. Надо бы в феврале этим заняться..

СЕРГЕЙ СТЕКЛОВ пишет:
31 Январь 2013 в 12:07
Я пока по Гошкиному вебмастерсу еще сильно не лазел. У меня и так голова кругом от всей этой информации. Пока просто позакрывал ненужные ссылки от индексации. Надеюсь, поможет. Может в скором времени он уберет мои мусорные страницы.

ЮННА РАЗУМОВА пишет:
8 Апрель 2013 в 19:07
Наконец и я добралась до этого файла! У меня вроде все индексировалось, но файл был вообще из 2-х строчек. Поставила, Надя твой файл, посмотрим, что будет :) Предлагаю свою новую статью: Формула успеха, конкурс!

ДЕНИС пишет:
22 Май 2013 в 14:07
А Вы напишите статью о гугле, расхвалите его во всей красе и думаю роботы начнут замечать Вас и для них будет достаточно того файла, который у Вас, а я в принципе ничего не менял и не советую это делать, если у Вас и так все прекрасно индексируется – это будет понижением авторитетности в глазах Яндекса. Лучше не экспериментировать.
С Уважением Денис!
Предлагаю свою новую статью: Мечта, которая поет…

АЛЕКСАНДР ИВАНОВИЧ пишет:
18 Август 2013 в 19:34
Уважаемая Надежда!
У меня возникли проблемы с индексацией сайта. С 8.07 по 8.08 было опубликовао 5 статей, но ни одна из них не проиндексирована. Поисковики заходят на сайт через день. Поэтому у меня возникли сомнения по поводу строки Crawl-delay: 4 в robots.txt скачанный у Вас. Если эта строка означает задержку индексации, то зачем эта задержка.
Предлагаю свою новую статью: Создаём лучшую електронную почту

 

Сайт создан в 2004 г. © Raduga-Net.ru | Создание сайта — Seoded.ru