файл robots.txt - page 2 | WordPress.org Русский

Решено riml9nin
(@riml9nin)

8 лет назад

Здравствуйте, уважаемые спецы, помогите пожалуйста с инфой по даному файлу, как оптимально настроить что бы не навредить а возможно и улучшить индексацию.

ПЫ СЫ : используется плагин на All in One SEO + by Yoast

Просмотр 2 ответов — с 16 по 17 (всего 17)

← 1 2

Автор

riml9nin

(@riml9nin)

8 лет назад

итого перепизалил файл содержимое :

User-agent: *
Crawl-delay: 5
Allow: /wp-content/uploads
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-json/
Disallow: /wp-content/cache
Disallow: /cgi-bin/
Disallow: /wp-admin
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /category/
Disallow: /author/
Disallow: */comment-page-*
Disallow: /xmlrpc.php

User-agent: Yandex#
Crawl-delay: 5
Allow: /wp-content/uploads
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-json/
Disallow: /wp-content/cache
Disallow: /cgi-bin/
Disallow: /wp-admin
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /category/
Disallow: /author/
Disallow: */comment-page-*
Host: http://games-finders.info/
Sitemap: http://games-finders.info/sitemap_index.xml