RU

Как превратить Cursor в долговременную память проекта: LLM Wiki, QMD и Cursor CLI

Большой контекст в Cursor спасает ровно до тех пор, пока проект живёт дольше одного чата: требования, SQL-гипотезы и причины отброшенных решений быс…

cursorcursor clillm wikiqmdmcpcoding agentsragлокальные llmбаза знанийуправление контекстом
Habr
RU

Как я подружил llama-server с Claude Code: доработка Go-лаунчера для локальных LLM

В своих прошлых материалах я уже рассказывал о запуске крупных MoE-моделей на ограниченном железе через llama-server и о сравнительных экспериментах…

искусственный интеллектclaude-codeлокальные llmлокальные моделиllama.cpp
Habr
RU

Нафиг NVIDIA! Я запустил Qwen на FPGA за $50 — а свой TPU назвал бы «КЕДР». Часть 1

Я хотел разработать собственный AI-процессор , нашёл openTPU , купил FPGA за $50 с 4ГБ памяти, подключил её к обычному мини-ПК и запустил на ней язы…

fpgakintex-7opentpullmлокальные llmqwenинференсai-ускорительopen source
Habr
RU

Локальный ассистент для зумов, часть 7: семь пакетов в плане, один в коде

19 сентября в одной папке src/ лежало 29 тысяч строк, около шестидесяти файлов, и ни одного пакета. pyproject.toml с пустым списком модулей, всё зап…

рефакторинг монолитаpython пакетыграница модулейграф импортовimport-linterмонорепозиторийлокальные llmграф знанийobsidianopen source
Habr
RU

Хотел свою систему, которую можно менять когда угодно, и сделал три десктопных AI-приложения

Я всегда хотел иметь свою систему: свои приложения, в которых можно изменить что угодно, а не что-то чужое, что завтра могут поменять. Так появился…

Aiai-агентыtaurielectronollamaлокальные llmfine-tuningloraдесктопные приложенияreact
Habr
RU

Локальный ассистент для зумов, часть 6: полчаса тишины, которых не было в протоколе

Шестая часть про локальный ассистент для созвонов. Встреча 15 сентября: канал собеседников умирал четыре раза, в стенограмме 33 минуты дыр из 65, а…

ассистент встречлокальные llmдиаризацияscreencapturekitминуткипротокол встречиобзор кода ииграф знанийobsidianopen source
Habr
RU

Локальный ассистент для зумов, часть 5: зачем локальному ассистенту облако и что уходит наружу

Пятая часть про локальный ассистент для созвонов. В первой части я написал: ничего не уходит в облако. Облако появилось на второй день проекта, пото…

ассистент встречлокальные llmоблачная ревизияприватностьclaude codeopusграф знанийobsidianprompt injectionopen source
Habr
RU

Локальный ассистент для зумов, часть 4: что происходит после кнопки Стоп — и почему вторая модель говорила в пустоту

Четвёртая часть про локальный ассистент для созвонов: двадцать пять минут после кнопки Стоп. Облачная ревизия полтора месяца находила ошибки локальн…

ассистент встречлокальные llmоблачная ревизияграф знанийobsidianминутки встречиcode reviewdeepseekglmприватность
Habr
RU

Сайзинг RAM и vCPU для локальной языковой модели: считаем стартовый размер VM

Сайзинг RAM и vCPU для локальной языковой модели начинается с конкретных весов и профиля запросов. Исходные требования self-hosted LLM включают длин…

локальные llmself-hostedllama.cppgguframvcpukv-cacheквантованиеinferencenuma
Habr
RU

Локальный ассистент для зумов, часть 3: кто это говорит — и почему я трижды ошибся, отвечая на этот вопрос

Обещал в прошлой части честный замер локальных моделей распознавания — выполнял целый день, и результат вышел самым обидным: менять нечего. А три де…

диаризацияэмбеддинги диктораsherpa-onnxspeech-to-textлокальные llmассистент встречonnxметодика замеровбенчмаркиприватность
Habr
RU

Локальный ассистент для зумов, часть 2: как граф встреч становится памятью и почему ему можно верить

В первой части я собрал локального ассистента для созвонов: диаризация, стенограмма, граф знаний в Obsidian, ноль облаков. За полтора месяца ежеднев…

локальные llmассистент встречollamaдиаризацияграф знанийgraphragobsidianspeech-to-textzoomприватность
Habr
RU

Hermes c локальными LLM vs GigaCode: сравниваем агентов на реальных PHP/Symfony-задачах

На YouTube очень часто мне попадаются видео, где сравнивают разные LLM для вайбкодеров: сделай 3D-аквариум с рыбками, напиши игру, слепи лендинг. Но…

PHPSymfonyGigaCodeHermesvllmагентное программированиелокальные llm
Habr
RU

Как я искал идеальный промпт для сопроводительных писем (и что оказалось важнее модели)

Хотел понять, потянет ли маленькая локальная модель сопроводительные письма или без облака никак. Оказалось, главный рычаг не модель, а промпт: пере…

поиск работыhh.ruсопроводительное письмопромпт-инжинирингOtklikнейросетиollamaлокальные llmgigachatopen source
Habr
RU

Сколько на самом деле стоит решённая задача: считаем экономику self-hosted моделей vs API токены

Каждый раз, когда заходит разговор "что дешевле — поднять у себя открытую модель или платить за API", его почему-то ведут в ценах за токен. И почти…

цена токенамашинное+обучениеконтурлокальные моделилокальныелокальные нейросетилокальные llmkimi-k3deepseekopus 4.7
Habr
RU

Написал локального ИИ-ассистента для зумов: диаризация, граф знаний и ноль облаков

Собрал ассистента встреч, который работает целиком на моём маке: локальный STT, живая диаризация голосов, мгновенные ответы на вопросы собеседника и…

локальные llmollamaдиаризацияspeech-to-textграф знанийассистент встречzoom
Habr
RU

Как я заставил 9B обгонять 30B: три месяца с local LLM агентом

Я дал 9B и 30B одну задачу. 30B сделал 24 шага и вернул неправильный ответ. 9B справился за 3. Разбираю почему размер модели — не главное, и что на…

локальные llmлокальный агентуправление контекстомагентный CLIlm studioslmnode.jsэмбеддинги
Habr
RU

MTP у Qwen3.6 в llama.cpp обещает ×2 по скорости. Я прогнал ту же модель через своего агента — и получил обратное

Привет, Хабр. Меня зовут Лазутин Алексей, я  не профессиональный разработчик . SEO, аудиты сайтов, куча рутины с CSV, curl, отчётами для програ…

локальные llmqwenmtplm studioбенчмаркагентыtool calling