Открытый проект How to Train Your GPT позволяет собрать свой ChatGPT с нуля. Это интерактивный учебник, в котором авторы изложили всю базу по нейросетям, их обучению, настройке, ИИ‑агентам и прочим полезным темам:
-
позволяет изучить, как нейросети превращают обычный текст в понятные им данные.
-
на примерах показано, как модели понимают связь между словами.
-
раскрыты современные технологии, которые используются в больших языковых моделях: RoPE, RMSNorm и SwiGLU.
-
показано, как модели учатся предугадывать каждое слово.
-
рассказано, как можно ускорить процесс обучения модели и заставить видеокарту работать быстрее.
-
можно собрать свою GPT‑модель.
-
Никакого мощного ПК не потребуется — модель будет на 17 млн параметров.
-
Также есть моделька на 151 млн параметров, эквивалентная GPT-2 Small.
