[Перейти к основному контенту](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers?hl=ru#main-content) * [Crawling infrastructure](https://developers.google.com/crawling?hl=ru) / * English * Deutsch * Español * Español – América Latina * Français * Indonesia * Italiano * Polski * Português – Brasil * Tiếng Việt * Türkçe * Русский * العربيّة * हिंदी * ภาษาไทย * 中文 – 简体 * 中文 – 繁體 * 日本語 * 한국어 Войти [Главная](https://developers.google.com/crawling?hl=ru) [Документация](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers?hl=ru) * [Crawling infrastructure](https://developers.google.com/crawling?hl=ru) * [Главная](https://developers.google.com/crawling) * [Документация](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers) * [Обзор](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers) * [О сканировании сайтов поисковыми роботами Google](https://developers.google.com/crawling/docs/about-crawling) * Инструкции * [Как проверить запросы от Google](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests) * [Аутентификация запросов с помощью Web Bot Auth (экспериментальная функция)](https://developers.google.com/crawling/docs/crawlers-fetchers/web-bot-auth) * [Как снизить частоту сканирования сайта роботами Google](https://developers.google.com/crawling/docs/crawlers-fetchers/reduce-crawl-rate) * Как управлять сканированием с помощью файла robots.txt * [Как создать и отправить файл robots.txt](https://developers.google.com/crawling/docs/robots-txt/create-robots-txt) * [Как Google интерпретирует спецификацию robots.txt](https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec) * [Как обновить файл robots.txt](https://developers.google.com/crawling/docs/robots-txt/submit-updated-robots-txt) * [Список полезных правил для robots.txt](https://developers.google.com/crawling/docs/robots-txt/useful-robots-txt-rules) * Как оптимизировать сканирование * [Как оптимизировать лимит на сканирование](https://developers.google.com/crawling/docs/crawl-budget) * [Мифы о сканировании](https://developers.google.com/crawling/docs/myths-about-crawling) * [Как улучшить сканирование URL с фасетной навигацией](https://developers.google.com/crawling/docs/faceted-navigation) * Справочные материалы * [Основные поисковые роботы](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers) * [Специальные поисковые роботы](https://developers.google.com/crawling/docs/crawlers-fetchers/google-special-case-crawlers) * [Инструменты для сбора данных о сайте, управляемые пользователем](https://developers.google.com/crawling/docs/crawlers-fetchers/google-user-triggered-fetchers) * Отдельные поисковые роботы и загрузчики, запускаемые пользователями * [APIs-Google](https://developers.google.com/crawling/docs/crawlers-fetchers/apis-user-agent) * [Feedfetcher](https://developers.google.com/crawling/docs/crawlers-fetchers/feedfetcher) * [Googlebot](https://developers.google.com/search/docs/crawling-indexing/googlebot) * [Google Read Aloud](https://developers.google.com/crawling/docs/crawlers-fetchers/read-aloud-user-agent) * Устранение неполадок * [Коды статуса HTTP](https://developers.google.com/crawling/docs/troubleshooting/http-status-codes) * [Ошибки сети и DNS](https://developers.google.com/crawling/docs/troubleshooting/dns-network-errors) * Что нового * [Журнал изменений](https://developers.google.com/crawling/docs/changelog) * [Главная](https://developers.google.com/?hl=ru) * [Crawling infrastructure](https://developers.google.com/crawling?hl=ru) * [Документация](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers?hl=ru) Отправить отзыв Оптимизируйте свои подборки Сохраняйте и классифицируйте контент в соответствии со своими настройками. Общие сведения о наших поисковых роботах и инструментах для сбора данных (агентах пользователя) =============================================================================================== Google использует поисковые роботы и инструменты для сбора данных, чтобы выполнять действия со своими продуктами автоматически или по запросу пользователя. Поисковый робот (или "паук") – это программа, которая [автоматически обнаруживает и сканирует сайты](https://developers.google.com/search/docs/fundamentals/how-search-works?hl=ru#crawling) . Загрузчики действуют аналогично программам, которые выполняют лишь один запрос от имени пользователя, такие как [wget](https://www.gnu.org/software/wget/) . Клиенты Google делятся на три категории: Информацию о **новостях на этой странице** можно найти в [нашей документации](https://developers.google.com/crawling/docs/changelog?hl=ru) . | | | | --- | --- | | [Основные поисковые роботы](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers?hl=ru) | Основные поисковые роботы, предназначенные для продуктов Google (например, [Googlebot](https://developers.google.com/search/docs/crawling-indexing/googlebot?hl=ru)
). При автоматическом сканировании такие роботы всегда соблюдают правила из файлов robots.txt. | | [Специальные поисковые роботы](https://developers.google.com/crawling/docs/crawlers-fetchers/google-special-case-crawlers?hl=ru) | Специальные поисковые роботы похожи на основные, но используются в продуктах, в которых между целевым сайтом и сервисом Google имеется соглашение о процессе сканирования. Например, `AdsBot` игнорирует глобальный агент пользователя из файла robots.txt (`*`), если это разрешено издателем объявления. | | [Загрузчики, запускаемые пользователем](https://developers.google.com/crawling/docs/crawlers-fetchers/google-user-triggered-fetchers?hl=ru) | Подобные загрузчики входят в инструменты и функции в наших продуктах, позволяющие конечному пользователю запускать сбор данных о сайте. Например, [Google Site Verifier](https://support.google.com/webmasters/answer/9008080?hl=ru)
действует по запросу человека. | Технические свойства поисковых роботов и загрузчиков Google ----------------------------------------------------------- Поисковые роботы и загрузчики Google предназначены для распределенной работы на тысячах компьютеров, чтобы обеспечить эффективное функционирование и масштабирование системы. Это необходимо, поскольку количество сайтов в интернете неуклонно растет. В целях равномерного расхода пропускной способности подобные клиенты распределяются среди множества центров обработки данных по всему миру. Это позволяет в каждом случае задействовать клиента, который расположен неподалеку от нужного сайта. Поэтому может оказаться, что в ваших журналах зарегистрированы обращения с нескольких IP-адресов. Исходящий трафик, который связан с Google, поступает на ваш сайт преимущественно с IP-адресов, относящихся к США. Если на том или ином сайте установлена блокировка запросов из США, Google может попробовать просканировать этот ресурс при помощи IP-адресов, которые относятся к другим странам. ### Какие протоколы передачи данных поддерживаются Поисковые роботы и загрузчики Google поддерживают протоколы HTTP/1.1 и [HTTP/2](https://en.wikipedia.org/wiki/HTTP/2) . Поисковые роботы используют протоколы, обеспечивающие наибольшую эффективность сканирования, и могут переключаться с одного на другой между сеансами сканирования, ориентируясь на данные о прежних сеансах. По умолчанию поисковые роботы используют протокол версии HTTP/1.1. Протокол HTTP/2 позволяет снизить потребление вычислительных ресурсов (например, ЦП и ОЗУ) сайта и робота Googlebot, однако более никаким преимуществом не обладает (например, повышения позиций в Google Поиске не обеспечивает). Чтобы отказаться от сканирования по протоколу HTTP/2, настройте сервер своего сайта так, чтобы при попытке выполнения такой операции сервер возвращал код статуса HTTP `421`. Если это невозможно, попробуйте [обратиться к нашей команде по сканированию](https://www.google.com/webmasters/tools/googlebot-report?hl=ru) (это временная мера). Инфраструктура Google также поддерживает сканирование по протоколу FTP (согласно спецификации [RFC959](https://datatracker.ietf.org/doc/html/rfc959) и дополнениям к ней) и FTPS (согласно спецификации [RFC4217](https://datatracker.ietf.org/doc/html/rfc4217) и дополнениям к ней), но оно выполняется редко. ### Какие способы кодирования контента поддерживаются Поисковые роботы и загрузчики Google поддерживают кодировку (сжатие) контента в форматах [gzip](https://en.wikipedia.org/wiki/Gzip) , [deflate](https://en.wikipedia.org/wiki/Deflate) и [Brotli (br)](https://en.wikipedia.org/wiki/Brotli) . Кодировки, с которыми совместим тот или иной агент пользователя Google, указаны в заголовке `Accept-Encoding` каждого запроса, исходящего от такого агента, например `Accept-Encoding: gzip, deflate, br`. ### Ограничения на размер файлов По умолчанию поисковые роботы и загрузчики Google сканируют только первые 15 МБ файла, а остальное содержимое игнорируется. Для отдельных проектов могут устанавливаться разные ограничения для поисковых роботов и загрузчиков, а также для разных типов файлов. Например, у поискового робота Google, [такого как Googlebot](https://developers.google.com/search/docs/crawling-indexing/googlebot?hl=ru) , может быть меньший лимит на размер файла (например, 2 МБ) или для PDF-файлов может быть больший лимит, чем для HTML-страниц. ### Частота сканирования и загрузка хоста Мы стараемся обработать как можно больше страниц на вашем сайте за один сеанс, не оказывая излишней нагрузки на сервер. Если запросы от Google все-таки замедляют работу сервера, попробуйте [снизить частоту сканирования](https://developers.google.com/crawling/docs/crawlers-fetchers/reduce-crawl-rate?hl=ru) . Учтите, что отправка поисковым роботам Google недопустимого [кода HTTP-ответа](https://developers.google.com/search/docs/crawling-indexing/http-network-errors?hl=ru) может сказаться на показе вашего сайта в продуктах Google. ### Кэширование HTTP Инфраструктура сканирования Google поддерживает эвристическое кеширование HTTP в соответствии со [стандартом кеширования HTTP](https://httpwg.org/specs/rfc9111.html) , в частности при помощи заголовка ответа `ETag` и заголовка запроса `If-None-Match`, а также при помощи заголовка ответа `Last-Modified` и заголовка запроса `If-Modified-Since`. Примечание. Независимо от предпочтений поисковых роботов Google лучше задать значения как для `Etag`, так и для `Last-Modified`. Эти заголовки также используются и другими приложениями, например CMS. Если в HTTP-ответе заполнено как поле заголовка ответа `ETag`, так и `Last-Modified`, поисковые роботы Google будут использовать значение `ETag`, как того требует [стандарт HTTP](https://www.rfc-editor.org/rfc/rfc9110.html#section-13.1.3) . Для поисковых роботов Google рекомендуется вместо заголовка `Last-Modified` использовать вариант [`ETag`](https://www.rfc-editor.org/rfc/rfc9110#name-etag) , чтобы сообщить им о предпочтениях кеширования. В заголовке `ETag` не возникает проблем с форматированием дат. Поддержка других директив кеширования HTTP не предусмотрена. Поисковые роботы и загрузчики Google не всегда используют кеширование. Это зависит от особенностей продукта, с которым они связаны. Например, `Googlebot` поддерживает кеширование при повторном сканировании URL для Google Поиска, а `Storebot-Google` – только при определенных условиях. Чтобы на вашем сайте выполнялось кеширование HTTP, свяжитесь с хостинг-провайдером или поставщиком системы управления контентом. #### Заголовки `ETag` и `If-None-Match` Инфраструктура сканирования Google поддерживает заголовки `ETag` и `If-None-Match` в соответствии со [стандартом кеширования HTTP](https://httpwg.org/specs/rfc9111.html) . Подробнее о заголовке ответа [`ETag`](https://www.rfc-editor.org/rfc/rfc9110#name-etag) и о соответствующем ему заголовке запроса [`If-None-Match`](https://www.rfc-editor.org/rfc/rfc9110#name-if-none-match) … #### Заголовки Last-Modified и If-Modified-Since Инфраструктура сканирования Google поддерживает заголовки `Last-Modified` и `If-Modified-Since` в соответствии со [стандартом кеширования HTTP](https://httpwg.org/specs/rfc9111.html) . Учтите следующие особенности: * Формат даты в заголовке `Last-Modified` должен соответствовать [стандарту HTTP](https://www.rfc-editor.org/rfc/rfc9110.html) . Чтобы избежать проблем во время обработки файла, рекомендуем использовать следующий формат даты: "день недели, DD Mon YYYY HH:MM:SS часовой пояс". Пример: Fri, 4 Sep 1998 19:15:56 GMT. * Также советуем использовать [поле `max-age` заголовка ответа `Cache-Control`](https://www.rfc-editor.org/rfc/rfc9111.html#name-max-age-2) , чтобы помочь поисковым роботам определять, требуется ли повторное сканирование определенного URL. Укажите в поле `max-age` длительность периода в секундах, в течение которого контент не будет изменяться. Пример: `Cache-Control: max-age=94043`. Подробнее о заголовке [`Last-Modified`](https://www.rfc-editor.org/rfc/rfc9110#name-last-modified) ответа и о соответствующем ему заголовке [`If-Modified-Since`](https://www.rfc-editor.org/rfc/rfc9110#name-if-modified-since) запроса… Как убедиться, что ваш сайт обрабатывают поисковые роботы и загрузчики Google ----------------------------------------------------------------------------- Поисковых роботов Google можно распознать по трем признакам: 1. Заголовок запроса HTTP `user-agent`. 2. IP-адрес, с которого поступил запрос. 3. Обратное имя хоста DNS исходного IP-адреса. Подробнее о том, [как убедиться, что ваш сайт сканируют именно поисковые роботы и загрузчики Google](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests?hl=ru) … Отправить отзыв Если не указано иное, контент на этой странице предоставляется по [лицензии Creative Commons "С указанием авторства 4.0"](https://creativecommons.org/licenses/by/4.0/) , а примеры кода – по [лицензии Apache 2.0](https://www.apache.org/licenses/LICENSE-2.0) . Подробнее об этом написано в [правилах сайта](https://developers.google.com/site-policies?hl=ru) . Java – это зарегистрированный товарный знак корпорации Oracle и ее аффилированных лиц. Последнее обновление: 2026-02-13 UTC. * ### Соцсети * [Блог](https://googledevelopers.blogspot.com/) * [Bluesky](https://goo.gle/3FReQXN) * [Instagram](https://www.instagram.com/googlefordevs/) * [LinkedIn](https://www.linkedin.com/showcase/googledevelopers/) * [X (Твиттер)](https://twitter.com/googledevs) * [YouTube](https://www.youtube.com/user/GoogleDevelopers) * ### Программы * [Google Developer Program](https://developers.google.com/program) * [Google Developer Groups](https://developers.google.com/community) * [Google Developer Experts](https://developers.google.com/community/experts) * [Accelerators](https://developers.google.com/community/accelerators) * [Google Cloud & NVIDIA](https://developers.google.com/community/nvidia) * ### Консоли разработчика * [Google API Console](https://console.developers.google.com/) * [Google Cloud Platform Console](https://console.cloud.google.com/) * [Google Play Console](https://play.google.com/apps/publish) * [Firebase Console](https://console.firebase.google.com/) * [Actions on Google Console](https://console.actions.google.com/) * [Cast SDK Developer Console](https://cast.google.com/publish) * [Chrome Web Store Dashboard](https://chrome.google.com/webstore/developer/dashboard) * [Google Home Developer Console](https://console.home.google.com/) [![Google Developers](https://www.gstatic.com/devrel-devsite/prod/vb08cbdb02acf7f66ad9727ddfba9d81df8806422eb5dd63dba194c9c8c7997f7/developers/images/lockup-google-for-developers.svg)](https://developers.google.com/?hl=ru) * [Android](https://developer.android.com/?hl=ru) * [Chrome](https://developer.chrome.com/home?hl=ru) * [Firebase](https://firebase.google.com/?hl=ru) * [Google Cloud Platform](https://cloud.google.com/?hl=ru) * [Google AI](https://ai.google.dev/?hl=ru) * [Все продукты](https://developers.google.com/products?hl=ru) * [Условия использования](https://developers.google.com/terms/site-terms?hl=ru) * [Конфиденциальность](https://policies.google.com/privacy?hl=ru) * [Manage cookies](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers?hl=ru#) * English * Deutsch * Español * Español – América Latina * Français * Indonesia * Italiano * Polski * Português – Brasil * Tiếng Việt * Türkçe * Русский * العربيّة * हिंदी * ภาษาไทย * 中文 – 简体 * 中文 – 繁體 * 日本語 * 한국어