• Наконец-то я добрался до robots.txt
    Почитал форумы, вижу что мое robots.txt слишком скудное

    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php
    Host: region16.info

    Возможно у WP этот файл отличается.
    В любом случае нужна ваша помощь в этом вопросе. Достаточно ли этого в этом файле?
    Что надо добавить?

    Сайт: http://region16.info

Просмотр 13 ответов — с 1 по 13 (всего 13)
  • Модератор Yui

    (@fierevere)

    永子

    Sitemap:

    @fierevere Вы не дописали? или на что то намекаете? Лично я ничего не понял)

    Модератор Yui

    (@fierevere)

    永子

    у вас сейчас сайт отдает 403
    поэтому мне не посмотреть есть ли у вас sitemap.xml или sitemap_index.xml

    карта сайта должна генерироваться плагином или SEOшным или отдельным

    или на что то намекаете?

    Не указана директива sitemap (xml-карта).

    Хотя я лично не считаю нужным блокировать /wp-admin/ вообще. Соответственно и след. строка не нужна.

    Seo шные плагины стоят.
    sitemap.xml или sitemap_index.xml где я могу найти эти файлы?

    sitemap.xml или sitemap_index.xml где я могу найти эти файлы?

    Вам не нужно их находить. Надо (не обязательно, но желательно) в роботс прописать. Один. См ссылку.

    seo-плагины сами добавят туда ссылку на sitemap, не надо вручную химичить.

    Все понял, всем спасибо robot.txt лучше не трогать 🙂

    лучше трогать — и закрыть там весь дублирующий контент. ваши записи доступны на главной, на рубриках, в архивах, в метках, в таксономиях и тд и тп.

    все это надо или закрывать в seo-плагинах, либо в robots.txt.
    яндекс нормально отнесется к дублям на главной, в рубриках и самой записи — он к такой структуре привычный, а вот дубли в метках и прочем — это повод для АГС.

    robot.txt лучше не трогать

    Правильно. Пока не будете понимать что там реально нужно для Вашего сайта и появится реальная необходимость что-то закрывать.

    @flector
    «закрыть там весь дублирующий контент. ваши записи доступны на главной, на рубриках, в архивах, в метках, в таксономиях и тд и тп.»
    МОжно подробнее на этом моменте?
    Где можно увидеть дублирование? И как как закрыть их?

    закрывать в seo-плагине.
    а дублирующий контент — это вам лучше знать, я со структурой вашего сайта не знаком. вообще, такие вещи надо регулярно отслеживать в яндекс.вебмастере — во избежание.

    такие вещи надо регулярно отслеживать в яндекс.вебмастере

    +1.
    И возможно не только в ЯМ.

Просмотр 13 ответов — с 1 по 13 (всего 13)

Тема «robots.txt» закрыта для новых ответов.