Вод код robots.txt может я что не так написал
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
Host: www.maximbeautique.in.ua
Sitemap: http://www.maximbeautique.in.ua/sitemap.xml
Sitemap: http://www.maximbeautique.in.ua/sitemap.xml
а там их 950
Просмотрите список этих страниц, возможно их и не нужно индексировать, что-бы не было дублей. Ведь WP может отдавать поисковику несколько адресов одного документа, это раз. Дальше в этом списке будут комментарии ибо они запрещены в robots (и это правильно), там-же должны быть feed их то-же не нужно индексировать. В вашем случае главное что-бы все товарные карточки были проиндексированы, http://www.maximbeautique.in.ua/vse-tovari/rubashki/muzhskaya-rubashka-leonardo-savell-belyj/ — это должно быть в поиске, а то-же самое но с вариантами на конце типа feed, это мусор.
Создавать блок инструкций для Яндекс тоже не имеет смысла, ибо первый блок User-agent: * исполняют все поисковики, зачем дублировать ? Карту сайта зачем два раза указывать ?
даже если такая ссылка не попала в индекс http://www.maximbeautique.in.ua/cat/sumki/kozhanye-sumki/, то это скорее плюс чем минус, ибо там нет полезной информации.
согласен а эта ссылка?? ссылка и там таких много мне кажется что что то не так прописанно, или это дубль?
согласен а эта ссылка?? ссылка и там таких много мне кажется что что то не так прописанно, или это дубль?
Нет, это не дубль. А она в списке: Документ запрещен в файле robots.txt ?
или просто не попала в индекс ?
да, она запрещена в файле robots.txt
Тут уже начинаются сложности и так просто понять причину и дать однозначный ответ мне например сложно. Страница может ошибочно числится в списке исключенных из-за robots.txt. По крайне мере Яндекс-анализатор показывает что страница не закрыта для индексации. А не попасть в индекс — тут причины вполне могут быть. Например дублированный текст на похожих товарных карточках, практически совпадающий + ссылка на карточки почти совпадающие (отличие только в цифре на конце) и как следствие робот может посчитать такие страницы дублями, склеить и исключить из индекса.
И что мне делать??? поштучно исключать страницы или удалить код который запрещает индексацию дублей?
вы не поняли, сами вы не чего не исключите (если только вы не программист в Яндексе:) и нет кода запрещающего индексацию дублей — эти решения принимает робот-поисковик. Как гласит наука об оптимизации сайтов, поисковики любят уникальный контент, это относится и к самому тексту и к заголовку и к тайтлу. Да и адрес страницы желательно уникальный, например не /vse-tovari/koshelki-kosmetichki/koshelek-poolparty-9/, а /vse-tovari/koshelki-kosmetichki/koshelek-poolparty-golden-pu-wallet/. Это лишь мои предположения-советы:). Можете попробовать с одной страницей, дождаться переиндексации и посмотреть выскочит страница из списка или нет.
А вообще в таких случаях наверно разумней продвигать одну страницу, например http://www.maximbeautique.in.ua/vse-tovari/koshelki-kosmetichki/koshelek-poolparty/, прописав на ней уникальное описание товара, заголовок, тайтл, дескрипшен, не забыв про ключевые слова, в вашем случае это обязательно купить, указав какие варианты еще есть. Посетитель перейдя по ссылке прочитает какие эти кошельки прекрасные, увидит в нижней карусели еще варианты и вы ничего не потеряете. Разумней и проще продвигать одну страницу, чем много одинаковых.
спасибо вы очень помогли=)
