В последние годы заметно возросла активность web-ботов — автоматических программ, которые сканируют сайты. Многие из них выполняют полезную работу: например, поисковые системы используют ботов, чтобы индексировать страницы и показывать их в результатах поиска.
Рубрики