Ученые института AIRI предложили метод, который помогает ИИ-агентам быстрее адаптироваться к новым условиям работы без дополнительного дообучения. Идея в том, чтобы модель могла сама определить, в какой среде она оказалась, и выбрать подходящую стратегию поведения.
Это одна из ключевых проблем физического ИИ и робототехники. Модель можно хорошо обучить в симуляции, но в реальном мире условия постоянно меняются: появляются препятствия, меняется сцепление с поверхностью, структура пространства, физические параметры среды или поведение других участников. Из-за этого качество работы агента может заметно падать.
Один из подходов к таким задачам — Forward-Backward. Он помогает агенту прогнозировать возможные будущие состояния и выбирать путь к цели. Но в нестабильных условиях у него есть слабое место: модель может усреднять разные сценарии развития событий и из-за этого выбирать неудачные действия.