| ivan_tver |
| Junior |
Сообщения: 19 |
Репутация: 13 |
| Дата регистрации: |
| 14.09.2026 |
Квантование — это то, что превращает 140-гигабайтную модель в 40-гигабайтную почти без потери качества. Именно благодаря ему серьёзные LLM запускаются на обычном CPU-сервере. Разберём, как это работает и что выбрать. Веса нейросети изначально хранятся в 16-битных числах (fp16). Квантование пересчитывает их в 4-, 5- или 8-битные — модель теряет часть точности, но занимает в 2–4 раза меньше памяти и работает быстрее.
Подробнее →| ivan_tver |
| Junior |
Сообщения: 19 |
Репутация: 13 |
| Дата регистрации: |
| 14.09.2026 |