RU

Лимиты ChatGPT и локальные LLM: мой эксперимент с Hermes Agent

Проверил, можно ли разгрузить Hermes Agent с помощью локальных LLM на домашнем ПК с RTX 3080 и 32 ГБ RAM. Сравнил Qwen и GLM на архитектурных задача…

локальные LLMHermes AgentOllamaQwenGLMквантованиеRTX 3080ИИ-агентылокальный инференсChatGPT
Habr
RU

Офлайн-ИИ в десктопном приложении: что я узнал, встраивая Ollama в лаунчер для трёх ОС

Я делаю Lumi, открытый лаунчер в духе Spotlight: по горячей клавише открывается строка, в которой можно запустить программу, найти файл или задать в…

Ollamaлокальные LLMGemmaQwenофлайнModelfile
Habr
RU

Как Splash ускоряет локальные LLM на Mac

Как Splash ускоряет локальные языковые модели на Mac? Разбираем спекулятивное декодирование DFlash 2, результаты тестов разработчиков и ограничения…

SplashInco AIDFlash 2QwenGGUFлокальные LLMквантованиеспекулятивное декодированиеApple siliconmacOS
Habr
RU

Битва поколений: сравниваем Qwen3.5 и Qwen3.6 в локальном инференсе. Новое не всегда лучше

Мы до сих пор сидим на «старой» модели, и коллеги спрашивают: почему? Чтобы ответить честно, пришлось прогнать семь квантов через шесть групп тестов…

LLMvLLMинференслокальноQwenHumo
Habr
RU

Локальный анализ звонков без GPU. Что происходит на пути от аудио до резюме

Я хотел проверить не то, насколько хорошо локальная LLM пишет резюме по красивому тестовому диалогу, а что произойдёт с полным пайплайном на обычном…

локальный AIраспознавание речиspeech-to-textдиаризацияLLMGigaAMWhisperQwenанализ звонковCPU
Habr
RU

[Перевод] Попросил ИИ-агента писать код осторожнее — а он стал исправлять меньше багов

Осторожность кажется полезной настройкой для ИИ-агента. Но три прогона на 100 реальных багах из SWE-bench дали обратный результат: «правила дисципли…

ИИ-агентыгенерация кодапромпт-инжинирингагентное программированиеClaude Codeисправление баговоценка ИИ-моделейQwen
Habr
RU

Свой инференс для 25 разработчиков: 452:1, KV‑пул и почему это не экономит денег

Для тех, кто держит или собирается держать LLM внутри контура: тимлидов, DevOps, архитекторов. Здесь конфиги, цифры и грабли, а не&nb…

vLLMLiteLLMprefix cachingKV-cacheлокальные LLMинференс LLMQwenагентская разработкаRTX PRO 6000claude
Habr
RU

Как я собрал полностью локальную диктовку для русского языка на Mac: GigaAM, Whisper, Qwen и Apple

VoiceSwitch — открытое menu bar-приложение для Apple Silicon: одна глобальная клавиша запускает запись, GigaAM, Whisper, Qwen или Apple распознают р…

VoiceSwitchраспознавание речиGigaAMWhisperQwenMLXmacOSлокальные модели
Habr
RU

Браузер вместо API: как я объединил DeepSeek, Qwen и ChatGPT в одного локального агента

Я хотел получить локального AI-агента без отдельного API для каждой модели — и превратил браузерные сессии DeepSeek, Qwen и ChatGPT в единый транспо…

AI-агентыLLMDeepSeekQwenChatGPTPlaywrightChromiumNode.jsopen sourceVS Code
Habr
RU

Модели почти год, а она всё ещё №1 по цене/качеству. Прогнал свежий батл-тест — и опять не сдвинул

Я собрал четыре модели в один батч — две Gemma, DeepSeek V4 Flash и Qwen3-235B — потому что не поверил кросс-сессионным данным: выходило, что малень…

LLMQwenDeepSeekGemmaBenchmarksOpenRouterQuality AssessmentMethodologyRussian NLP
Habr
RU

Gemini-3.5-flash догнал GPT-5.5 на 97/S и в 2.5× дешевле. Но главное — китайцы выигрывают по цене и качеству

Месяц назад я писал про парадокс DeepSeek V4 Pro — модель проиграла собственному Flash и Qwen 3.6 Plus трёхнедельной давности. Сегодня прогнал свежи…

LLMGeminigpt-5DeepSeekQwenTencentBenchmarksAIOpenRouterRussian NLP