“Почему моей страницы нет в Google?” – этот вопрос задают многие владельцы сайтов, которые хотят присутствовать в результатах поиска. Бывает, что вместо желаемой высокой позиции обнаруживается, что сайта вообще нет в поисковой системе, он не индексируется и нигде не отображается. Почему это произошло и что делать в таком случае?
1. Настройки в файле Robots.txt
Согласно рекомендациям Google, каждое доменное имя должно содержать файл robots.txt в своем корневом каталоге. Этот файл представляет собой определение каталогов, которые будут либо не будут индексировать в ресурсах поисковых систем. Эти директивы читаются Google и другими популярными поисковыми системами.
Популярная директива disallow позволяет исключить из индексации как файлы, так и каталоги. Можно заблокировать индексацию одного файла в robots.txt.
2. Блокировка мета-тегов.
Страница не проиндексирована в Google – это может быть связано с наличием блокирующих мета-тегов. Если они обнаружены — следует их немедленно удалить.
Мета-тег блокирующих роботов, размещенный в заголовке веб-сайта, не позволяет роботу поисковой системы индексировать контент и переходить по ссылкам на веб-сайте:
При размещении в заголовке:
поисковый робот по-прежнему не будет индексировать контент, но сможет переходить по ссылкам.
Даже если страница содержит блокирующие мета-теги, пользователь без проблем увидит весь контент — только роботы не будут сканировать соответствующие его части.
3. Блокировка паролем.
Если для доступа к веб-сайту или его части требуется вход в систему, поисковый робот Google не сможет получить доступ к защищенному паролем контенту. Они не увидят всевозможные важные ключевые слова и уникальную информацию, поэтому должен быть бесплатный и неограниченный доступ к соответствующему контенту.
Замечены какие-либо проблемы с индексацией подстраниц сайта? Возможно, браузер запомнил пароль и при его вводе вход в систему происходит автоматически — это можно проверить, просмотрев отображение страницы в режиме инкогнито.
Если блокировка контента на сайте сделана специально, то нужно убедиться, что как можно больше информации доступно роботу поисковой системы. Спроектируйте структуру данных так, чтобы важный контент находился в той части, которая не защищена паролем — тогда робот может легко прочитать и проиндексировать его.
4. Блокировка на уровне сервера.
Сетевые атаки и атаки на веб-сайты могут блокировать трафик оператора хостинга. Такие временные блокировки означают, что в течение определенного периода времени роботы, желающие попасть на веб-сайт из заблокированного местоположения, не смогут этого сделать.
Если робот Google не может попасть на сайт, следует проверить, не наложил ли хостинг-оператор такой тип блокировки. Недоступность сайта для робота негативно влияет на оценку сайта, поэтому если проблема длится долго — стоит подумать о переносе сайта к другому оператору.
Причиной может быть и другой тип ситуации на уровне сервера — ошибка в конфигурации домена, изменение указания домена на каталог или, наконец, отказ самого сервера. Поэтому, встал вопрос, почему в Google не видно страницы, сначала нужно проверить, правильно ли она видна: надо введите адрес своего веб-сайта в браузере и проверить, правильно ли он отображается.
5. Недействительный код ответа HTTP.
Каждый раз, когда к веб-сайту обращаются (включая посещение робота), сервер возвращает код ответа — этот код доказывает, может ли веб-сайт отображаться без проблем.
Если веб-сайт работает нормально и отображается правильно, сервер возвращает код ответа «200» – тогда сканер поисковой системы распознает, что сайт может быть проиндексирован.
Если веб-сайт был перемещен и теперь отображается по другому адресу, появляется код «301» – это подсказка для робота. Страница уже проиндексирована в Google, и теперь нужно переместить ее на новый адрес? Следует подготовить 301 редирект.
Есть и другие читы, каждый из которых означает, что есть проблема, и робот не будет сканировать страницу, а именно:
– 401 Unauthorized Unauthorized access – выданный запрос требует аутентификации, доступ к ресурсу невозможен;- 403 Forbidden Forbidden – используемая конфигурация безопасности не позволяет серверу возвращать запрошенный ресурс;- 404 Not Found Not found – ресурс не найден сервером по заданному URL;- 503 Служба недоступна — запрос не может быть обработан сервером из-за перегрузки.
Последний из упомянутых кодов может указывать на то, что веб-сайт не был оптимизирован и слишком много использует сервер. Возможно, потребуется сервер с лучшими параметрами, перевод на VPS или выделенный сервер. Однако обычно в подобной ситуации причина того, что в Google не видно страницы, заключается в том, что она сама является источником ошибок — она написана таким образом, что вызывает зацикливание.
Часто в подобной ситуации помогает включить такие методы кеширования, как LS Cache и REDIS. Благодаря этому каждая запись на сайте вызывает во много раз меньшую нагрузку на сервер, потому что запускается гораздо меньше процессов. Следовательно, вероятность ошибки 5xx гораздо меньше.
6. Мобильные устройства.
Поисковая система Google с апреля 2015 года уделяет особое внимание тому, что у веб-сайтов есть мобильные версии. При использовании поисковой системы на мобильном устройстве страницы, не адаптированные для просмотра с мобильных устройств, не будут отображаться в результатах поиска Google.
Веб-сайт не отображается в Google при использовании телефона или планшета? Стоит убедиться, что он правильно отображается на компьютере — сайт может быть правильно проиндексирован, но Google считает, что он недостаточно ценен, чтобы отображаться в результатах поиска на мобильных устройствах.
7. Промежуток времени.
Google просто тратит время на сканирование молодых страниц. В культуре наносекунд многие люди ожидают, что это время будет коротким, поэтому многие задаются вопросом: «Когда Google проиндексирует мою страницу?»
Во-первых, нужно подумать, как Google находит страницы. По сути, есть два основных источника: ссылки на сайт из других источников и сообщение поисковой системе через инструмент Google Search Console.
В случае новой страницы будет лучше сразу назначить страницу консоли поиска Google и отправить запрос на индексацию через интерфейс консоли. Для этого нужно перейти на https://search.google.com/ и отправить свой новый сайт.
В меню в верхнем левом углу выбрать «+ Добавить службу», а затем решить, нужно ли добавить весь домен или определенный URL.
Веб-сайт должен быть подтвержден, это делается путем размещения на сервере небольшого файла проверки, содержащего строку символов, указанных в консоли поиска Google, или путем записи в зоне DNS.
Если сайт новый, лучше всего использовать Google Search Console. Там можно добавить сайт, а не весь домен, лучше всего четыре раза, то есть в варианте с вызовом после https, после http (с сертификатом SSL и без него), а также с www. и без этой приставки спереди.
8. Штрафы от поисковой системы Google.
Если сайт использует методы, которые нарушают правила Google в рейтинге поисковых систем — сайт будет наказан. Наложение штрафных санкций не является обычным явлением в случае “нормально” используемых веб-сайтов и оптимизаций.
Если веб-сайт подвергся наказанию со стороны Google, единственный разумный способ действий — удалить ошибки и неточности. Затем описать шаги, предпринятые для их удаления. Нет смысла спорить о потерянном доходе. Не стоит рисковать юридическими последствиями.
Итак, может быть множество причин, по которым веб-сайт не включен в индекс Google. В упрощенном виде можно сказать, что они связаны с этапом жизни веб-сайта.
Молодые страницы обычно просто еще не проиндексированы. В этом случае Google Search Console может помочь диагностировать ситуацию.
Страницы “среднего возраста” часто страдают от ошибок конфигурации или robots.txt, возможно, из-за блокирующих мета-тегов. Эти блокировки были установлены при создании страницы, чтобы Google не проиндексировал ее слишком рано. Разработчик сайта забыл снять блокировку после включения сайта в продакшн.
На “зрелых страницах” чаще возникают проблемы с производительностью (ошибки 5xx), плохая история (недопустимые перенаправления 301) или недостаточно надежное отображение.
Штрафы от Google — редкая причина, но ее тоже можно «заработать».
