Среди европейских сайтов ChatGPT-User чаще других отслеживаемых ботов обращался к страницам, запрещённым для него в robots.txt В первой половине 2026 года ChatGPT-User обращался к страницам, которые запретили ему посещать через robots.txt, в 54% зафиксированных случаев, сообщает платформа TollBit. Среди европейских сайтов в выборке это был самый высокий показатель: у Bytespider он составил 48%, у PerplexityBot […]
В этой части — самое приземлённое про GEO-продвижение. Никакой философии, только то, что можно взять и в понедельник начать делать руками: как резать страницу под чанки, какой JSON-LD писать, какие боты пускать на сайт, как честно замерить цитируемость и как поймать переходы в Метрике и GA. То есть форма, в которую упаковывается уже сформулированная ценность. […]
Рассказываю, как мы собрали SEO-панель для динамического каталога: sitemap, robots.txt, мета-превью, RSS, диагностика и переобход в одном интерфейсе. Без секретов и полного кода, но с архитектурой и граблями продакшена.
Еще пару лет назад веб жил в простой и понятной модели: есть сайты, есть поисковые роботы, есть пользователи. Роботы приходят, сканируют страницы, кладут их в индекс — дальше начинается привычная борьба за позиции в выдаче. Эта логика десятилетиями определяла, как мы строим сайты, настраиваем SEO и пишем robots.txt. С появлением LLM-агентов эта модель начала трещать по […]
Представлен новый открытый стандарт лицензирования цифрового контента Really Simple Licensing (RSL), призванный изменить порядок использования данных в интернете для обучения и функционирования систем искусственного интеллекта. Разработанный инициативной группой RSL Collective под руководством бывшего генерального директора ask.com Дуга Лидса и бывшего вице-президента Yahoo и соавтора стандарта RSS Эккарта Вальтера, RSL ориентирован на защиту авторских прав и […]
Пока мы с вами пытались понять, стоит ли платить за подписку на очередной ИИ-ассистент, в тихих кулуарах IETF (Инженерного совета Интернета) — скромных трудяг, которые подарили миру TCP/IP и robots.txt — разгорелась война, способная перевернуть весь цифровой рынок. А особенно — наш, российский.
ИИ-компании нередко обвиняют в том, что они игнорируют инструкции в файлах robots.txt и скрапят любой контент без разбора, при этом создавая большую нагрузку на сайты. Для борьбы с этим явлением начали появляться ловушки для ИИ-краулеров.
Cloudflare внедрила в панель управления аудита ИИ новую функцию, которую шутливо назвала Robotcop. Она позволит проверить, какие ИИ-службы соблюдают политики robots.txt, а какие нет, а затем программно применять эти политики.