RU

Можно ли научить маленькую LLM учиться без роста весов? Замеры, баги и честная статистика

Мейнстрим растит модели масштабом. Мы меряем ортогональное: можно ли растить компетентность маленькой модели без роста весов — через…

LLMcontinual learningLoRAдистилляциямашинное обучениеэкспериментыверификация
Habr
RU

«Четыре шага — и точка» Я сам придумал главное ограничение своего приложения

Пару недель назад я рассказывал здесь, как три ночи чинил рендер, который не был сломан . С тех пор в главном ничего не изменилось: я по-прежнему эн…

FLUX.2KleinMLXApple Siliconгенерация изображенийLoRAобучение LoRASwiftmacOSлокальный ИИ
Habr
RU

Хотел упростить мониторинг проектов и в отпуск — пришлось обучать свой LLM.Часть 3.Дистилляция

Третья часть про DevOps-агента Oni. В первой статье я встретился с реальностью — локальные модели не справляются с простыми задачами. Во второй разб…

LLMфайнтюнингfine-tuningLoRADevOps-агентOllamaобучение LLMcatastrophic forgettingUnslothAI-агент
Habr
RU

Хотел упростить мониторинг проектов и в отпуск — пришлось обучать свой LLM.Часть 2.Обучение

Продолжаем серию про файнтюнинг и создание DevOps-агента Oni. В прошлой части я встретился с реальностью — ни одна локальная модель не справилась с…

LLMфайнтюнингfine-tuningQwen3LoRADevOps-агентобучение LLMcatastrophic forgettingUnslothAI-агент