Проверка теории улучшения результата LoRA файн‑тюнинга на «умных» слоях
При LoRA‑дообучении адаптеры обычно применяются ко всем слоям модели, хотя активность разных слоев во время обработки промпта заметно разл…
Последние новости
⚑ Сообщить о проблемеTech news from the best sources
Все темы
- Искусственный интеллект, машинное обучение, нейросети
- Новости сети
- автомобили, мотоциклы, транспортные средства
- вирусы, трояны, уязвимости в ПО, вопросы безопасности
- игры
- космос
- мобильные телефоны, смартфоны, сотовая связь, коммуникаторы, КПК
- модули ОЗУ, карты памяти, флеш-накопители, кардридеры
- на острие науки
- процессоры
LLM
ai
ai-агенты
claude
devops
llm
open source
python
ruvds_статьи
Статьи
автоматизация
ии
ии-агенты
информационная безопасность
искусственный интеллект
машинное обучение
нейросети
программирование
тестирование
управление проектами
Ретранслятор LoRa своими руками: увеличиваем дальность связи без лишней мощности
В предыдущей статье я рассказывал о том, как предоставить удалённый доступ к данным измерений метеостанции с помощью модулей Heltec Automation HTIT-…
Как я автоматизировал создание стикеров для соцсетей: локально обучаем стилевую LoRA для SD 1.5 на 30 картинках
Генерация красивых единичных артов давно перестала быть проблемой. Но как только возникает прикладная задача — например, сделать…
Стоит ли использовать TCXO в LoRa2012?
Группа точек мониторинга орошения, распределённых в горной местности, днём нагревается на солнце, а ночью остывает — суточный перепад температур мож…
Как мы за $2k собрали управляемую мировую модель на базе Wan 2.1
Всем привет! Мы два 19-летних студента второго курса из Казахстана. В свободное от учёбы время мы развиваем DreamForge — собстве…
Как я обучил русский RAG‑сплиттер, который режет документы по индексам, а не по тексту
TL;DR. Из интереса обучил собственный русский RAG‑сплиттер — захотелось проверить, можно ли сделать context‑aware‑нарезку русск…
35 годиков, а я радуюсь радио. История о том, как хаос в отладке автономного узла стоил шести месяцев
Собрал автономный радиоузел на заборе с солнечной панелью — связь без интернета заработала. Решил добавить метрики энергопотребления…
Дообучаем FLUX.2 [klein] за час на одной видеокарте: LoRA, Diffusers и Gradio без лишней боли
FLUX.2 [klein] достаточно компактна, чтобы дообучать её на одной потребительской видеокарте. Прогон обучения LoRA для 4B-модели укладывается в 24 ГБ…
Finetune Lora Qwen3vl и прочие приключения
У меня была видеокарта NVIDIA A100, максимальный объём памяти 79,254 Гб. Нужно было извлечь ключевую информацию (задача Qwestion Answering) из 6000…
Meshtastic и LORA — проприетарщина с ложной популярностью?
Вся эта возня по раздуванию популярности Meshtastic - как дешёвые бусы для папуасов: высокая доступность чипа (цена), приличные характеристики чипа…
Спутниковая связь в симуляторе NS-3. Часть 1
Моделирование спутниковых систем связи в симуляторе компьютерных сетей NS-3 с использованием модуля Satellite . Читать далее
Три попытки обогнать в бенче базовую Gemma 4 дообучением — и все три мимо
Две недели мы пытались обогнать собственную базу. Файнтюном. Потом ещё раз файнтюном на переделанном корпусе. Потом — RAG. Все три раунда база выигр…
Распределённая система мониторинга и аналитики присутствия людей в инфраструктурных объектах без использования камер
Обзор будущего продукта. Distributed Occupancy Intelligence Platform - это распределённая система мониторинга и аналитики присутствия людей в здания…
[Перевод] Квантизация больших языковых моделей: FP32, BF16, INT8, NF4 и QLoRA
Большие языковые модели требуют огромных объёмов памяти. Например, модель с 8 миллиардами параметров в формате FP16 занимает 24–27 ГБ памяти только…
Как я сделал резервное управление дачей через Meshtastic
Обычно Meshtastic используют как мессенджер. Я применил его как резервный канал связи с удаленным объектом. Задача простая: есть дача с регуля…