RU

Синтетическая эмпатия: как RAG, системные промпты и TTS инженерят привязанность к LLM-агентам

ELIZA в 1966-м заставляла секретарш просить не заглядывать в распечатки диалогов. Шестьдесят лет спустя компаньон-агенты на LLM делают то же самое,…

llmragttsollamachromadbapple siliconai-агентыодиночество
Habr
RU

Локальный ассистент для зумов, часть 9: неделя на Nemotron

В четверг был звонок на 57 минут, восемь человек. Голоса собеседников Nemotron разметил за 7 секунд. Мой микрофон тогда ещё размечал sherpa. Потом я…

диаризацияnemotronsherpa-onnxmlxapple siliconлокальные моделистенограмма встречpytestживая транскрипцияopen source
Habr
RU

Локальный ассистент для зумов, часть 8: модель, ради которой я поменял диаризацию за один вечер

В третьей части я написал, что не вижу чужой модели, ради которой стоит менять связку. sherpa-onnx на диаризации, свой второй проход поверх, канал с…

диаризацияnemotronsortformersherpa-onnxmlxapple siliconлокальные моделистенограмма встречмутационное тестированиеopen source
Habr
RU

Сколько токенов в секунду выдадут новые Mac mini на M6 и M5 Pro. Прогноз до того, как железо приехало

Через несколько дней Apple начнёт отгружать Mac mini на M6 и M5 Pro и Mac Studio на M5 Max и M5 Ultra. Замеров локальных моделей на них ещё ни у ког…

mac minim6m5 proollamallmapple siliconлокальные моделибенчмарк
Habr
RU

Всё, что вы хотели знать о локальном ИИ, но стеснялись спросить

Если вы когда-нибудь смотрели на HF и не понимали, что такое DFlash, квантизация и почему одна и та же модель лежит в десяти репозиториях от десяти…

llmлокальные моделиквантизацияllama.cppapple siliconggufинференсmoemeta
Habr
RU

Пять неправильных токенов и 245 картинок: как Krea 2 заработала на Swift и MLX

На обложке — команда, которой не было.  В реальности Twisterminigen создавался за одним столом: я, Mac mini M4 с 32 ГБ объединённой памяти и Co…

krea 2mlxswiftswiftuiapple siliconmacoscodexropeлокальный inferenceгенерация изображений
Habr
RU

56 минут созвона → текст за 5 минут на M4 без OBS и облака

У меня от трёх до пяти созвонов в день, почти все в браузере: Meet, Яндекс Телемост, ktalk, реже всего Zoom. Детали встреч мне нужны в тексте, иначе…

whispermlxpyannotespeaker diarizationрасшифровка звонковpythonapple siliconтранскрибация звонков
Habr