Лимиты ChatGPT и локальные LLM: мой эксперимент с Hermes Agent
Проверил, можно ли разгрузить Hermes Agent с помощью локальных LLM на домашнем ПК с RTX 3080 и 32 ГБ RAM. Сравнил Qwen и GLM на архитектурных задача…
Последние новости
⚑ Сообщить о проблемеTech news from the best sources
Все темы
- игры
AI
News
Tech
agents
ai
api
architecture
automation
backend
beginners
career
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
Офлайн-ИИ в десктопном приложении: что я узнал, встраивая Ollama в лаунчер для трёх ОС
Я делаю Lumi, открытый лаунчер в духе Spotlight: по горячей клавише открывается строка, в которой можно запустить программу, найти файл или задать в…
Такого нет даже у OpenAI Dots, Grok Bot и Muse: NIKA — личные ИИ-агенты с on-device LLM (я доверила ИИ банковскую карту)
Как ИИ-агент Ника купила мне авиабилет, накопила годовой запас кофе и попала в чёрный список ресторанов. Мы дали облачному агенту банковскую карту,…
Устроил маленьким моделям проектный институт: слабой деление на разделы дало вчетверо, рой пять пунктов
Я тепломеханик, начальник отдела в проектной организации, в проектировании четырнадцать лет. Программистом не был ни дня, с нейросетями вожусь меньш…
Сколько Rust помещается в 0.5B
Temper 0.5B — моя небольшая модель, дообученная на базе Qwen2.5-Coder-0.5B‑Instruct, упор которой сделан на языке Rust. Узкая специал…
Как мы запустили ИИ-ревьюера на 4000 PR в день — и какие баги он находит
Бывает так, что ревьюер посмотрел пул-реквест, тесты зелёные, компиляция прошла успешно, а в коде всё равно остался баг, который проявится только в…
Механизмы внимания в современных LLM
Почему современные LLM больше не используют один «обычный» Attention? Разбираем эволюцию механизмов внимания: MHA, GQA, MLA, local и sparse att…
MTPLX против oMLX: одна модель, два сервера, разница в 3–6 раз
Вторая часть. Первая — «Локальный агент для кода на Mac: MTPLX + pi + Qwen3.8-27B» . В первой части я посадил кодового агента pi на локальную Qwen3.…
Как Splash ускоряет локальные LLM на Mac
Как Splash ускоряет локальные языковые модели на Mac? Разбираем спекулятивное декодирование DFlash 2, результаты тестов разработчиков и ограничения…
Битва поколений: сравниваем Qwen3.5 и Qwen3.6 в локальном инференсе. Новое не всегда лучше
Мы до сих пор сидим на «старой» модели, и коллеги спрашивают: почему? Чтобы ответить честно, пришлось прогнать семь квантов через шесть групп тестов…
Подарок брату до $70 к пятнице — как я собрал помощника магазина на локальной 9B-модели
Покупатель пишет в чат магазина «подарок брату, ему 30, любит настолки, до $70». Помощник спрашивает, когда у брата день рождения. Покупатель отвеча…
Локальный анализ звонков без GPU. Что происходит на пути от аудио до резюме
Я хотел проверить не то, насколько хорошо локальная LLM пишет резюме по красивому тестовому диалогу, а что произойдёт с полным пайплайном на обычном…
Зачем модели делать больно?
Исследователи дали языковой модели две кнопки. Одна ничего не делала. Вторая должна была избавить модель от неприятного внутреннего состояния - иног…
Grok 4.7, GPT-6 Astra, Claude и китайские модели, кто эффективнее?
Вчера SpaceXAI выложила Grok 4.7 . За три недели до этого OpenAI выпустила GPT-6 Astra , Anthropic — Claude Fable 5.1 . Ещё в&nb…
Я захотел, чтобы Obsidian заполнялся сам
Я хотел, чтобы поток звука и текста сам складывался по коробочкам и вставал на нужные полочки, а в Obsidian уже лежали готовые з…
Локальный агент для кода на Mac: MTPLX + pi + Qwen3.8-27B. Что реально ускоряет, а что нет
Я хотел, чтобы кодовый агент работал целиком на ноутбуке, без облака: локальная модель, локальный сервер, агент в терминале. Главная боль с самого н…
Где ещё дают LLM API бесплатно: проверяю очередные находки
Бесплатные LLM API часто хорошо выглядят только в описании, поэтому я проверил всё реальными запросами. В этой подборке — 6 сервисов с Claude, Gemin…
Как я строю нейросимвольное извлечение условий из тендерных документов
Рабочее название прототипа: Tender Semantic Engine (TSE) Если фрагмент оказался неправильным ответом на один вопрос, сначала стоит проверить, не явл…
Агент поддержки первой линии: прототип за вечер, харнес для прода, цена диалога
Бизнес хочет автоматизировать первую линию поддержки. Оператора надо нанять, обучить, поставить в график, проверять и каждый месяц платить зарплату.…
US government website used Chinese model the FBI called "malicious"
The Federal Register website briefly used an open source Chinese AI search tool.
[Перевод] Попросил ИИ-агента писать код осторожнее — а он стал исправлять меньше багов
Осторожность кажется полезной настройкой для ИИ-агента. Но три прогона на 100 реальных багах из SWE-bench дали обратный результат: «правила дисципли…
Наш бенчмарк ИИ-агентов: собачьи бега моделей LLM, в которых Алиса выигрывает
Всем привет. На связи Сергей Игнатенко, основатель ИИ-платформы VibePilot. Мы сделали свой бенчмарк моделей ИИ на реальных задачах: сметы, договоры,…
Тест DeepSeek, Qwen, GLM и прочих LLM на продвинутом пользовательском железе
В статье рассказываю о личном опыте запуска современных LLM на домашнем ПК, сравниваю модели, кванты и движки, показываю результаты п…
Семь ИИ‑моделей получили по $300 и три дня, чтобы заработать. Выручка — $0
Bottleneck Labs провели простой по формулировке и довольно безумный по исполнению эксперимент: семи ИИ‑моделям выдали по разблокирова…
Свой инференс для 25 разработчиков: 452:1, KV‑пул и почему это не экономит денег
Для тех, кто держит или собирается держать LLM внутри контура: тимлидов, DevOps, архитекторов. Здесь конфиги, цифры и грабли, а не&nb…
Бесплатные API к Claude, GPT, DeepSeek и другим моделям: 6 AI-роутеров с бесплатным доступом
Собрал 6 AI-роутеров с бесплатным доступом к Claude, GPT, DeepSeek, Qwen и другим моделям. Показываю, что реально дают после регистрации: баланс, до…
Как я собрал полностью локальную диктовку для русского языка на Mac: GigaAM, Whisper, Qwen и Apple
VoiceSwitch — открытое menu bar-приложение для Apple Silicon: одна глобальная клавиша запускает запись, GigaAM, Whisper, Qwen или Apple распознают р…
502 на ingress, 302 в приложении: как я учил инфраструктурного LLM-агента не врать
Я делаю внутреннего read-only LLM-агента для инфраструктурных расследований. Инженер задаёт вопрос обычным языком, а агент собирает доказательства и…
Браузер вместо API: как я объединил DeepSeek, Qwen и ChatGPT в одного локального агента
Я хотел получить локального AI-агента без отдельного API для каждой модели — и превратил браузерные сессии DeepSeek, Qwen и ChatGPT в единый транспо…
«ChatGPT с AliExpress» или лучшая нейросеть с открытым кодом: разбираемся в Qwen 3.7
Роли между популярными нейросетями более-менее распределены. ChatGPT остается главным универсальным помощником для большинства пользователей. Claude…