Cloudflare внедрила в панель управления аудита ИИ новую функцию, которую шутливо назвала Robotcop. Она позволит проверить, какие ИИ-службы соблюдают политики robots.txt, а какие нет, а затем программно применять эти политики.
Рубрики
Cloudflare представила Robotcop для соблюдения политик robots.txt и блокировки ботов