Что такое Criteo Crawler
Criteo Crawler — программное обеспечение, которое посещает веб-страницы и анализирует контент, чтобы демонстрировать на них релевантную рекламу.
Criteo Crawler идентифицируется следующим user-agent:
CriteoBot/0.1 (+https://www.criteo.com/criteo-crawler/)
Зачем Criteo Crawler посещает мой сайт?
Criteo — глобальная технологическая компания, которая способствует успеху маркетологов по всему миру, предоставляя надежные и эффективные решения для рекламы. Criteo обеспечивает компаниям любого масштаба доступ к технологии, необходимой для лучшего понимания потребителей и удовлетворения их нужд. Criteo находится в процессе разработки решения для контекстуальной рекламы, которое позволит нашим партнерам-паблишерам монетизировать контент, а также поддержит рекламодателей, размещая их рекламу на релевантных веб-страницах.
Чтобы оно работало бесперебойно, Criteo будет анализировать веб-контент, находящийся в открытом доступе, с помощью Criteo Crawler. Технология будет идентифицировать категории контента на выбранной веб-странице. Например, статье про спорт и обувь для бега будет присвоена категория «спорт» и подкатегория «бег».
Когда Criteo Crawler посещает мой сайт?
Criteo Crawler будет подключаться, только когда ваш сайт отправит запрос в Criteo на размещение рекламы на вашем домене. Criteo Crawler посещает ваш сайт ограниченное число раз. Crawler запрашивает доступ к вашему сайту, только если имеющиеся категории более недоступны или устарели.
Какие данные моего сайта анализирует Criteo?
Criteo Crawler не запрашивает и не хранит исходный код. Он только анализирует данные о контенте веб-страницы, находящейся в открытом доступе, такие как язык и категории контента (спорт, бег и т.д.).
Criteo Crawler — система, отвечающая требованиям конфиденциальности. Crawler не имеет доступа к данным пользователей на вашем сайте. Crawler анализирует только данные, находящиеся в открытом доступе в интернете.
Как дать Crawler доступ к моему сайту?
Многие премиум паблишеры открыто разрешают Criteo Crawler осуществлять доступ к своим сайтам. Паблишерам выгодно, чтобы Criteo категоризировал их инвентарь для оптимизации кампаний рекламодателей.
Чтобы предоставить доступ Criteo Crawler, пожалуйста, добавьте отдельный параграф в robots.txt:
User-agent: CriteoBot/0.1
Disallow:
Как мне отозвать доступ Crawler к моему сайту? (уже скоро: начало 2021)
Если вы хотите отозвать доступ Criteo Crawler к определенным секциям вашего сайта, пожалуйста, добавьте отдельный параграф в robots.txt и укажите путь к секции, которую вы хотите исключить:
User-agent: CriteoBot/0.1
Disallow: /path/
Если вы хотите полностью исключить доступ Criteo Crawler к вашему сайту, пожалуйста, добавьте отдельный параграф в robots.txt:
User-agent: CriteoBot/0.1
Disallow: /
Примечание
Вы можете отозвать доступ Criteo Crawler, даже если robots.txt еще не доступен.
Узнать больше
Чтобы узнать больше о Crawler, пожалуйста, свяжитесь с представителем Criteo, если вы являетесь нашим прямым партнером, или отправьте запрос на crawler@criteo.com
