Проверка теории улучшения результата LoRA файн‑тюнинга на «умных» слоях
При LoRA‑дообучении адаптеры обычно применяются ко всем слоям модели, хотя активность разных слоев во время обработки промпта заметно разл…
Последние новости
⚑ Сообщить о проблемеTech news from the best sources
Все темы
- Искусственный интеллект, машинное обучение, нейросети
- Новости сети
- автомобили, мотоциклы, транспортные средства
- вирусы, трояны, уязвимости в ПО, вопросы безопасности
- игры
- космос
- мобильные телефоны, смартфоны, сотовая связь, коммуникаторы, КПК
- модули ОЗУ, карты памяти, флеш-накопители, кардридеры
- на острие науки
- процессоры
LLM
ai
ai-агенты
devops
llm
open source
python
ruvds_статьи
Статьи
автоматизация
ии
ии-агенты
информационная безопасность
искусственный интеллект
машинное обучение
нейросети
программирование
разработка
тестирование
управление проектами
Как дообучить LLM. Рассказываю шаг за шагом
В этой статье я шаг за шагом расскажу, как дообучить LLM под свою задачу. В качестве примера возьму open-source модель Qwen2.5-0.5B и дообучу её изв…