Atrax, спасибо за ответ!
Я не помню, где я ранее находил такую информацию, возможно у вас на сайте. Создал точно такой же файл robots.txt более месяца назад, проблема не решилась. Т.е. в индексе поисковиков существуют эти страницы, более того, по ним доступны одни и те же страницы сайта. Как следствие — большое количество одинаковых страниц в поиске.
Как их вообще убрать с сайта?
Дополнение — кто такой Feedfetcher-Google и зачем он постоянно ищет запрещённый к индексации раздел /feed ?
Atrax
(@atrax)
Ethical engineer
Как их вообще убрать с сайта?
Если «пошаманить», то можно попробовать выдавать их под кодом 404. После обновления поисковых баз все должно уйти.
кто такой Feedfetcher-Google и зачем он постоянно ищет запрещённый к индексации раздел /feed ?
Это FeedBurner и GoogleReader.
А что значит «пошаманить»? ))
Вопрос простой — это я так настроил что-то в ВП или это стандартная проблема сайтов на ВП?
Если проблема в моих настройках, то как сделать правильно? Если в ВП — что можно исправить?
Буду очень признателен за ответы! Заранее спасибо!
Atrax
(@atrax)
Ethical engineer
Это стандартная проблема сайтов на wordpress.
Atrax, ещё раз благодарю за Ваш ответ.
Последний вопрос — в какой части сайта «шаманить», чтобы проблему убрать. Т.е. что сказать сделать специалисту, что необходимо сделать?
Модератор
Yuri
(@yube)
Простите, что влажу в разговор, но специалисту не нужно говорить, где и что делать, специалисту достаточно знать, какой результат нужно получить.
Простите, что влажу в разговор
Yube, нашли во всём обсуждении одно предложение, на которое нашлись что сказать? Мой товарищ-программист возможно смог бы помочь, но он не разбирался в ВП ранее никогда. К Вам вопрос — а Вы статус консультант на форуме по каким вопросам занимаете, если вопрос проблем по ВП Вас не коснулся?
Изначальный вопрос оставлю открытым — как можно исправить сложившуюся ситуацию?
Буду благодарен за ответы по теме. Спасибо!
товарищ-программист возможно смог бы помочь
в чем сложность ? он не товарищ или он не программист ?
Не поленился — нашёл 🙂
+ что-то вроде следующего:
<?php if(is_single() || is_page() || is_home()) { ?>
<meta name=»robots» content=»index,follow» />
<?php } else { ?>
<meta name=»robots» content=»noindex,follow» />
<?php }?>
в шапку вашей темы (/wp-content/themes/ИМЯ_ВАШЕЙ_ТЕМЫ/header.php).
Выше написанный код оставляет для индексации домашнюю страницу, одиночную запись и страницу.
Подробности про шаблоны и про robots.txt
Модератор
Yuri
(@yube)
а Вы статус консультант на форуме по каким вопросам занимаете, если вопрос проблем по ВП Вас не коснулся?
Помогаю страждущим, благодарным и не очень. Добровольно и бесплатно. Я никому ничем не обязан. Поэтому отчитываться ни перед кем не намерен.
rxs, Yube — странно, что вас не банят на форуме за оффтоп. И как вам время своё не жалко хоть на такие ответы?
Lob1AV — спасибо большое! Я по запросу «ЧПУ» в поиске по форуму находил это обсуждение и не посчитал полезным. Я писал выше, что более месяца закрывал от индексации дублирующиеся страницы в robots.txt, страницы всё равно остаются в базе ПС и, как я понимаю, своим количеством уменьшают общий вес сайта для ПС. На Сёрче прочёл мнение, что запрет на индексацию страниц ничего не даст, нужно удалить дубли и поставить ошибку 404 при запросе на них и, через некоторое время, останутся лишь существующие страницы в индексе.
Вариант с добавлением кода в хедер что даёт? вывод ошибки или запрет на индексацию? Судя по применяемым тегам из файла robots.txt именно о запрете опять дело и зашло..
Если «пошаманить», то можно попробовать выдавать их под кодом 404.
Как бы такое сделать? ))
убейте все на уровне robots.txt, вот пример моего роботса :
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://www.theopticalillusions.com/sitemap.xml
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://www.theopticalillusions.com/sitemap.xml
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
# digg mirror
User-agent: duggmirror
Disallow: /
Taktomedia, спасибо за ответ!
Про роботс уже писал, это не работает так, как хочется. Да и Ваш файл мне не поможет, существующий формат запретов всё равно оставит страницы в индексации.
Если «пошаманить», то можно попробовать выдавать их под кодом 404.
Всё ещё ищу решение! ))
Atrax
(@atrax)
Ethical engineer
странно, что вас не банят на форуме за оффтоп
Банить админов — это что-то новенькое 😉
Всё ещё ищу решение! ))
Куда «копать», вам уже сказали. Готового решения может и не быть.
