Рубрики
На повестке дня

Энтузиасты создают ловушки для ИИ-краулеров

ИИ-компании нередко обвиняют в том, что они игнорируют инструкции в файлах robots.txt и скрапят любой контент без разбора, при этом создавая большую нагрузку на сайты. Для борьбы с этим явлением начали появляться ловушки для ИИ-краулеров.