Еще вопрос по тому же плагину: обнаружил, что у меня регулярно не попадают в Sitemap некоторые из новых записей. Насколько я понял, этот плагин генерирует Sitemap динамически — нельзя ли как-нибудь исправить ситуацию с недостающими записями?
С Sitemap вообще какая-то загадка — в docs
вижу только архив sitemap.xml.gz
с датой 2014 года. При этом нагуглил, что плагин Yoast SEO автоматически создает XML карту сайта по адресу site.ru/sitemap_index.xml. В robots.txt
у меня прописано следующее:
Sitemap: http://gadgets-news.ru/sitemap.xml.gz — наскоько я понял, ненужный архив
Sitemap: http://gadgets-news.ru/sitemap.xml — несуществующий файл.
В Search Console в разделе Sitemap /sitemap.xml, а в нем несколько файлов:
/attachment-sitemap1.xml
/attachment-sitemap2.xml
/page-sitemap.xml
/post-sitemap1.xml
/post-sitemap2.xml
/post-sitemap3.xml
/post-sitemap4.xml
Что же тогда прописать в robots.txt? Или Yoast SEO уже все прописал сам, и ничего менять не надо?
-
Ответ изменён 6 лет, 1 месяц назад пользователем Ar1ur.
Модератор
Юрій
(@yube)
В robots.txt у меня прописано следующее:
Во-первых, директива sitemap у Вас прописана только для Яндекса, Гугль имеет полно право не видеть ее.
Во-вторых, корректный адрес сайтмапы, генерируемой Ёстом, можно увидеть в его настройках общие — возможности — карта сайта. Кликать по вопросительному знаку (не знаю, какой гений это придумал, но, по-моему, это слишком гениально для простых смертных). Мне он показал /sitemap_index.xml
. Вот от этого и надо отталкиваться.
Спасибо, это действительно было очень незаметно… Я был уверен, что мои ссылки прописаны для обоих поисковиков. Тогда может лучше так?
User-agent: *
Crawl-delay: 2
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /search
Sitemap: http://gadgets-news.ru/sitemap_index.xml
User-agent: Yandex
Crawl-delay: 2
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /search
Host: gadgets-news.ru
Sitemap: http://gadgets-news.ru/sitemap_index.xml
И что-нибудь можете порекомендовать по поводу моих двух проблем (некорректная структура выдачи поисковиком результатов, без первого абзаца записи + невключение записи в Sitemap)?
Второй вопрос совсем запутанный — оказалось, что и в Sitemap эта запись включена, и в Google Search Console она не отображается фильтром Страница проиндексирована, но ее нет в файле Sitemap
…
Нельзя ли решить эти две проблемы на уровне настроек Yoast SEO?
Модератор
Юрій
(@yube)
Могу посоветовать прописать корректный адрес сайтмапы не только в роботс, но и в панели ПСов и удалить оттуда некорректные. А также не пытаться понять логику, по которой ПСы формируют выдачу результата поиска — это опасно для здоровья 🙂
В robots.txt
прописал (см. выше), в Google Search Console тоже, а вот как удалить оттуда старую ссылку не знаю, вроде нет такой возможности. Но в принципе даже в ней составные файлы раскрыты правильно, а при открытии некорректной ссылки происходит автоматическая переадресация на корректную. После добавления новой ссылки количество выявленных URL там такое же, а моя запись, несмотря на запрос на переиндексацию, по-прежнему ошибочно обзывается как Страница проиндексирована, но ее нет в файле Sitemap. Правда теперь она появилась в выдаче (датируясь вчерашним днем), но помогли ли эти манипуляции, или просто прошло время — не знаю. В любом случае большое спасибо за помощь.
-
Ответ изменён 6 лет, 1 месяц назад пользователем Ar1ur.