Рубрики
Технологии

Как я увеличил производительность своего сервера для LLM-вычислений почти в два раза и причем здесь six-seven

Мы разобрались, какие типы вычислений реально важны для LLM, почему мой вычислительный кластер на CMP90HX работал хуже чем ожидалось — узнали что вычислительная мощность искусственно ограничена именно на них, и как работает китайская модификация, снимающая это ограничение. Затем проверили всё на практике и получили реальные цифры прироста.

Читать далее