• Здравствуйте, уважаемые спецы, помогите пожалуйста с инфой по даному файлу, как оптимально настроить что бы не навредить а возможно и улучшить индексацию.

    ПЫ СЫ : используется плагин на All in One SEO + by Yoast

Просмотр 15 ответов — с 1 по 15 (всего 17)
  • используется плагин на All in One SEO + by Yoast

    Глупее этого быть ничего не может. Кто вас надоумил ставить сразу два плагина для SEO? А почему тогда не три или не четыре?

    Вам не пришло в голову, что два медведя в одной берлоге не уживаются? Или вы думаете чем больше плагинов для одной той же цели — тем лучше?

    P.S. Я уже рассказывал как один мой знакомый поставил два плагина для кэширования — «Чтобы сильнее кэшировалось» …. Кэшировалось у него так сильно. что вообще сайт не работал.

    помогите пожалуйста с инфой по даному файлу

    robots.txt

    Только не надо копировать какой-нибудь готовый. Сначала изучите и проанализируйте этот вопрос и создайте свой robots.txt

    Модератор Yui

    (@fierevere)

    ゆい

    можно не создавать
    у wp есть свой виртуальный на этот случай

    Yui ゆい

    у wp есть свой виртуальный на этот случай

    Можно ссылочку? использую этот, что скажите :

    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: /feed
    Disallow: /comments
    Disallow: /category/*/*
    Disallow: */trackback
    Disallow: */feed
    Disallow: */comments
    Disallow: /*?*
    Disallow: /*?
    Allow: /wp-content/uploads
    
    # Google Image
    User-agent: Googlebot-Image
    Disallow:
    Allow: /*
    
    # Google AdSense
    User-agent: Mediapartners-Google*
    Disallow:
    Allow: /*
    
    # Internet Archiver Wayback Machine
    User-agent: ia_archiver
    Disallow: /
    
    # digg mirror
    User-agent: duggmirror
    Disallow: /
    
    Sitemap: http://www.games-finders.info/sitemap.xml
    
    User-agent: Yandex
    Crawl-delay: 5
    
    Disallow: /tag

    Глупее этого быть ничего не может. Кто вас надоумил ставить сразу два плагина для SEO? А почему тогда не три или не четыре?

    Вам не пришло в голову, что два медведя в одной берлоге не уживаются? Или вы думаете чем больше плагинов для одной той же цели — тем лучше?

    P.S. Я уже рассказывал как один мой знакомый поставил два плагина для кэширования — «Чтобы сильнее кэшировалось» …. Кэшировалось у него так сильно. что вообще сайт не работал.

    Благодаою за критику, исправил, All in ONE удалил, кэш очистил так как Yoast сильнее по всем параметрам.

    пысы : ставил 2 потому что где то нашел что они «дружелюбны» друг к другу =)

    Модератор Yui

    (@fierevere)

    ゆい

    Можно ссылочку?

    удаляете или переименовываете свой robots.txt на диске
    заходите на http://свой.сайт/robots.txt
    на диске его нет, но в браузере (и для поисковых систем) он все равно открывается. генерируется ВП совместно с seo плагином

    использую этот, что скажите :

    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/themes

    скажу что это закрывать не надо

    а еще я бы добавила это

    Allow: /wp-admin/admin-ajax.php
    Disallow: /wp-json/

    а также директиву Host:

    еще у вас в начале отсутствует User-agent: *
    и непонятно почему crawl-delay задан только для яндекс и в остальном выглядит как какие-то откуда-то взятые куски

    Yui ゆい
    так Вы девушка.. ниче се)

    Прошу прощения не полностью скопировал свой файл.

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: /feed
    Disallow: /comments
    Disallow: /category/*/*
    Disallow: */trackback
    Disallow: */feed
    Disallow: */comments
    Disallow: /*?*
    Disallow: /*?
    Allow: /wp-content/uploads
    
    # Google Image
    User-agent: Googlebot-Image
    Disallow:
    Allow: /*
    
    # Google AdSense
    User-agent: Mediapartners-Google*
    Disallow:
    Allow: /*
    
    # Internet Archiver Wayback Machine
    User-agent: ia_archiver
    Disallow: /
    
    # digg mirror
    User-agent: duggmirror
    Disallow: /
    
    Sitemap: http://www.games-finders.info/sitemap.xml
    
    User-agent: Yandex
    Crawl-delay: 5
    
    Disallow: /tag

    а также директиву Host:

    а можно подробней ? ) немножко не понимаю )

    и непонятно почему crawl-delay задан только для яндекс и в остальном выглядит как какие-то откуда-то взятые куски

    честно говоря я тоже не совсем это понимаю.. только учусь. Этот файл рекомендовал популярный инфобизнесмен. Но было это года 3-4 назад. А это в данной индустрии как вечность

    Примерно так (Для Яндекса всегда прописывается тоже самое, но отдельно!)

    User-agent: *
    Crawl-delay: 5
    Allow: /wp-content/uploads
    Allow: /wp-admin/admin-ajax.php
    Disallow: /wp-json/
    Disallow: /wp-content/cache
    Disallow: /cgi-bin/
    Disallow: /wp-admin
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed
    Disallow: */feed
    Disallow: /*?*
    Disallow: /tag
    Disallow: /category/
    Disallow: /author/
    Disallow: */comment-page-*
    Disallow: /xmlrpc.php
    
    User-agent: Yandex#
    Crawl-delay: 5
    Allow: /wp-content/uploads
    Allow: /wp-admin/admin-ajax.php
    Disallow: /wp-json/
    Disallow: /wp-content/cache
    Disallow: /cgi-bin/
    Disallow: /wp-admin
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed
    Disallow: */feed
    Disallow: /*?*
    Disallow: /tag
    Disallow: /category/
    Disallow: /author/
    Disallow: */comment-page-*
    Host: ваш сайт
    Sitemap: http://ваш сайт/sitemap_index.xml

    Модератор Yui

    (@fierevere)

    ゆい

    Для Яндекса всегда прописывается тоже самое, но отдельно

    зачем? если всё то же самое ?

    зачем? если всё то же самое ?

    Несколько лет назад во всех рекомендациях по robots.txt и их примерах подчеркивалось именно это. (Причем касательно не только WP) Почему так — сам не знаю, но предполагаю что Яндекс имеет некую свою специфику и думаю что и в настоящее время это актуально.

    Только что провел эксперимент в проверке RT в Яндексе. Одну из страниц своего сайта запретил к индексации для всех агентов Disallow: /obratnaya-svyaz/ , Но не стал её закрывать отдельно для Яндекса. В результате Яндекс «увидел» эту страницу.
    http://prntscr.com/aleipf

    Как только запрет на её индексацию добавил и для Яндекса Disallow: /obratnaya-svyaz/ — она «спряталась» и от Яндекса.

    Так что это все и правда не совсем понятно и спорно… Короче говоря я пишу для Яндекса отдельно. Надеюсь это тот самый случай, когда «кашу маслом не испортишь» ))))

    Yui ゆい

    уважаемый модератор, так что мне в своем коде убрать что я скинул ?

    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/themes

    вот это удалить ? что-то еще ? по тому коду что я скинул. как у меня сейчас стоит.

    Хоть я и не модератор, но чуть выше дал вам образец robots.txt с учетом пожеланий Yui ゆい

    Или для вас теперь только модераторы в авторитете? :))

    по тому коду что я скинул. как у меня сейчас стоит.

    А ваш RT из каких то кусков и отрывков вообще никуда не годится.

    Konstantin

    Скоро станете значит если захотите ) спасибо

    Или для вас теперь только модераторы в авторитете? :))

    для меня в авторитете мнение каждого кто знает эту область лучше меня , а таких много =))
    пысы: ваш кэшовый плагин мне пришелся по душе )

    ваш кэшовый плагин мне пришелся по душе

    И «крякозябры» сами собой исчезли при переносе на реальный хостинг?

Просмотр 15 ответов — с 1 по 15 (всего 17)
  • Тема «файл robots.txt» закрыта для новых ответов.