В суперкомпьютерном кластере Colossus 2 запущен параллельный тренинг семи крупных языковых и мультимодальных моделей, о чем рассказал Илон Маск.
В настоящий момент в процессе обучения находятся:
- Imagine V2 (улучшенная генеративная модель изображений и видео);
- Два варианта модели объёмом 1 трлн параметров;
- два варианта модели объёмом 1,5 трлн параметров;
- модель объёмом 6 трлн параметров;
- модель объёмом 10 трлн параметров.
Изображение Grok
На вопрос о том, сколько по времени займет обучение самой большой модели с 10 трлн параметров, Илон Маск заявил, что предварительный этап обучения длится около 2 месяцев.
Компания xAI уже ввела в эксплуатацию суперкомпьютер Colossus 2, предназначенный для обучения Grok и других задач. Установка стала первым в мире ИИ-кластером с энергопотреблением на уровне 1 ГВт. Для сравнения, это больше пикового энергопотребления такого крупного города, как Сан-Франциско.