Рубрики
Технологии

От учителя к студенту: путь к изотропным эмбеддингам в 29M модели. Часть 5/10

Прежде чем что-то обучать, нужен «снимок до». Иначе после Phase A мы не поймём: cos 0.92 к учителю — это хорошо или «а должно было быть 0.98»? retrieval 0.98 — это выросло относительно старта или упало?

Поэтому в этом разделе — два коротких замера, до всякого обучения.

Читать далее