Один и тот же стек трейс, напечатанный 50 тысяч раз, не сделает расследование инцидентов в 50 тысяч раз полезнее. Зато он честно увеличит сетевой трафик, объем хранения и время на извлечение данных.
Решение выглядит очевидно: включить дедупликацию в агенте. Но под дедупликацией у разных лог-шипперов скрываются разные вещи. Один агрегирует повторы и сохраняет их количество, другой молча оставляет только первую запись, третий умеет лишь ограничить частоту, а четвёртый показывает уникальные строки только в интерфейсе — после того как все дубли уже попали в хранилище.
Меня зовут Антон Касимов, я работаю в Gals Software, веду авторский телеграм по наблюдаемости Мониторим ИТ и я сравнил пять известных лог-шипперов (мог бы назвать их популярными, но это субъективно):
— OpenTelemetry Collector
— Vector
— vlagent
— Fluent Bit
— Grafana Alloy
— Filebeat
А затем прогнал через них одинаковый поток данных. Агентов, которые действительно умеют в дедупликацию оказалось два: OpenTelemetry Collector и Vector. У Fluent Bit задачу можно решить скриптом, а у Filebeat, vlagent и Alloy встроенного механизма дедупликации вообще не оказалось.
Вперёд!