• В последнее время многие, наверное, получили такое стандартное письмо от Гугла

    «Сайт такой-то не оптимизирован для мобильных устройств
    Мы проверили N стр. Вашего сайта и обнаружили, что N% из них неудобно просматривать на мобильных устройствах. Из-за ошибок на этих N стр. у пользователей складывается плохое впечатление о ресурсе. Эти страницы не считаются оптимизированными для мобильных устройств с точки зрения Поиска Google, и они будут отображаться и ранжироваться в результатах поиска на смартфонах соответствующим образом».

    Google сейчас рассылает такие письма на миллионы сайтов в мире.
    Гугл это объясняет так:

    «Если доступ к ресурсам JavaScript и CSS заблокирован (например, с помощью файла robots.txt) и робот Googlebot не может их обработать, то наша система будет воспринимать страницы не так, как пользователи. Чтобы индексация была более эффективной, разрешите нашим роботам сканировать такие данные. Это особенно важно, если у вас мобильный сайт. По структуре кода JavaScript и CSS мы можем определить, оптимизированы ли страницы для смартфонов и планшетов»

    и

    «Ранее Google не нужны были стили сайта или джаваскрипты. И чтобы уменьшить время сканирования и предоставить боту только полезную информацию, стили и джава (и прочее) закрывали в файле robots.txt. Ситуация изменилась, теперь всё это нужно открывать и давать боту, для того, чтобы Гугл увидел ваш сайт с точки зрения поисковика, а не браузера».

    И наконец! —

    «Убедитесь, что все ресурсы страницы (CSS, JavaScript и изображения) доступны для сканирования любым роботом Googlebot. Для этого используйте файл robots.txt или другие методы. Доступ к этим ресурсам помогает нашим роботам распознать адаптивный дизайн сайта и соответственно обрабатывать эту информацию».

    В рекомендуемом для WordPress исходном robots.txt имеем такое

    Disallow: /wp-content/plugins
    Disallow: /wp-content/themes
    Disallow: /wp-includes/

    Google же сообщает, что ему мешает блокировка таких файлов как, например,

    /wp-content/plugins/easy-fancybox/fancybox/jquery.fancybox-1.3.7.min.css
    /wp-content/plugins/pinterest-pin-it-button-for-images/ppibfi_pinterest.css
    /wp-content/themes/parabola/style.css
    /wp-content/themes/parabola/js/frontend.js
    /wp-content/themes/parabola/images/socials/VK.png
    /wp-includes/js/jquery/jquery.js
    /wp-includes/js/comment-reply.min.js

    И т.п.
    Таким образом, выходит, что нужно открыть доступ ко всем трем вышеуказанным в robots папкам? Но ведь после этого Гуглботу будет доступно все содержимое этих директорий, в том числе и все файлы php? Но безопасно ли это? Дело в том, что сам же Гугл пишет в статье «Проверка робота Googlebot», что

    «под видом робота Googlebot к вашему сайту могут обращаться спамеры или другие злоумышленники».

    Что из этого может выйти?!

Просмотр 5 ответов — с 1 по 5 (всего 5)
  • Модератор Yui

    (@fierevere)

    永子

    оно итак доступно всем кому начхать на robots.txt
    так что все это безопасно, robots.txt вообще ни малейшего отношения к безопасности не имеет, даже скорее наоборот может спалить локации которые вы хотели бы скрыть

    .php никогда в виде кода на нормально сконфигурированном сервере не отдаются, исключение — забыли поставить обработчик, тогда сервер и wp-config.php отдаст в текстовом виде. но это нонсенс )
    При прямом вызове неключевые php скрипты должны завершаться die()
    риска ноль.

    Кстати гугл прислал эту филькину грамоту не только из за css/js,
    это давно уже относилось к общим рекомендациам, а для сайтов с «традиционным» немобильным «нерезиновым» видом, даже если они и без этого на смартфонах неплохо выглядят.

    И последнее — рекомендации «корпорации зла» — не приказ для абсолютного выполнения, если конечно SEO в одном месте свербит…

    Модератор Sergey Biryukov

    (@sergeybiryukov)

    Live and Learn

    В рекомендуемом для WordPress исходном robots.txt имеем такое

    Disallow: /wp-content/plugins
    Disallow: /wp-content/themes
    Disallow: /wp-includes/

    В файле, который отдаётся по умолчанию самим WordPress (при отсутствии реального файла), сейчас ничего подобного нет.

    Там были каталоги wp-admin и wp-includes, последний убран 9 месяцев назад.

    Yui

    При прямом вызове неключевые php скрипты должны завершаться die()

    Как, например,/wp-admin/admin-ajax.php? (Гугл его, несмотря на запреты в роботс, все равно индексирует) — в браузере виден только нолик.

    а для сайтов с «традиционным» немобильным «нерезиновым» видом, даже если они и без этого на смартфонах неплохо выглядят.

    Ладно бы так 🙂 У меня на сайте теме Parabola, и метатег viewport там есть, и на тестах вроде Responsinator.com сайт великолепно выглядит — ан нет же! в Просмотреть как Гуглбот для смартфонов сайт выглядит ужасно! — все из-за этих заблокированных css/js 🙂
    У меня, кстати, по Метрике получается, что посетители просматривают мой сайт в основном с широкоэкранных мониторов. Но Гугл обещает, что скоро наступит бооольшооое мобильное будущее!

    Sergey Biryukov

    В файле, который отдаётся по умолчанию самим WordPress (при отсутствии реального файла), сейчас ничего подобного нет.
    Там были каталоги wp-admin и wp-includes, последний убран 9 месяцев назад.

    Опять я остала от жизни! 🙂 В позапрошлом году я копировала себе справку с http://codex.wordpress.org/Search_Engine_Optimization_for_WordPress#Robots.txt_Optimization — сейчас там и правда ничего подобного нет!
    Выходит, что только /wp-admin и является в WordPress критически важной?

    Модератор Yui

    (@fierevere)

    永子

    по метрике сейчас каждый третий примерно (средняя температура по больнице) смотрит с смартфона-фаблета-планшета-смарттв
    в принципе нет ничего плохого что гугл будет учитывать сайты которые будут .. качественно смотреться на устройстве пользователя, при прочих равных условиях

    в /wp-admin поисковикам точно делать нечего, любая cms делится на фронтэнд (часть для посетителей и поисковиков) и бэкэнд ( часть администрирования ), нет смысла индексировать то, что недоступно широким массам

    ps: кодекс отстает от актуальных правок, виртуальный роботс исправили уже давно

Просмотр 5 ответов — с 1 по 5 (всего 5)
  • Тема «Адаптация сайта под мобильные. Письмо от Гугл» закрыта для новых ответов.