Исследователи из Google разработали метод, позволяющий создавать языковые модели AI, которые одновременно быстрее и лучше, используя необычный подход: предоставляя меньшим моделям обучение для больших.
Совместная команда из Google Research и DeepMind разработала метод обучения под названием SALT (Small model aided large model training), который сокращает время обучения до 28 процентов и одновременно улучшает производительность. Так в чем ключевая инновация? Использование меньших языковых моделей в качестве помощников-преподавателей.