RU

Лимиты ChatGPT и локальные LLM: мой эксперимент с Hermes Agent

Проверил, можно ли разгрузить Hermes Agent с помощью локальных LLM на домашнем ПК с RTX 3080 и 32 ГБ RAM. Сравнил Qwen и GLM на архитектурных задача…

локальные LLMHermes AgentOllamaQwenGLMквантованиеRTX 3080ИИ-агентылокальный инференсChatGPT
Habr
RU

Офлайн-ИИ в десктопном приложении: что я узнал, встраивая Ollama в лаунчер для трёх ОС

Я делаю Lumi, открытый лаунчер в духе Spotlight: по горячей клавише открывается строка, в которой можно запустить программу, найти файл или задать в…

Ollamaлокальные LLMGemmaQwenофлайнModelfile
Habr
RU

Собираем приватный RAG-стек на pgvector

Собираем приватный RAG-стек на pgvector, где документы, поиск и генерация ответа остаются внутри вашего VPS. Разберём схему стенда, embeddings, pgve…

RAGpgvectorPostgreSQLвекторный поискembeddingsлокальная LLMself-hosted RAGOllamaHNSWинформационная безопасность
Habr
RU

Codebase Intelligence для агента: строим «dev tool будущего» и сразу тестируем на Rails монолите в 3,5M+ строк

Сгенерированная картинка для привлечения внимания. Промпт: «Продемонстрируй, что всё новое — это хорошо забытое старое» (нет) За последний год инстр…

coding agentsMCPсемантический поискRAGRuby on Railsграф вызововтехдолгQdrantOllamaCodebase Intellegence
Habr
RU

Я хотел просто навести порядок в Obsidian. В итоге написал два индекса, semantic search и RAG

Я начинал с простого AI-аудита заметок, а в итоге Vault Audit AI вырос в систему с двумя индексами, поиском по смыслу, Similar Notes, semantic dupli…

ObsidianVault Audit AIRAGsemantic searchembeddingsLLMTypeScriptvector searchknowledge managementOllama
Habr
RU

Почему RAG — это не просто «добавить поиск»: latency, качество и выбор стратегии retrieval

Когда говорят про RAG, его часто описывают как простой способ улучшить LLM‑систему: добавить поиск по внешним данным, найти релевантн…

RAGLLMretrievallatencyChromaOllamavector searchembeddingstop-kchunk size
Habr
RU

Хотел упростить мониторинг проектов и в отпуск — пришлось обучать свой LLM. Часть 4. Тестирование

Продолжаем серию про файнтюнинг и создание DevOps-агента Oni. В первой части я собирался в отпуск и хотел, чтобы локальная моделька через OpenClaw с…

тестирование ИИagent evaluationQwen3.5файнтюнингDevOps-агентLLMбезопасность ИИprompt injectionOllamaLLM safety.
Habr
RU

Хотел упростить мониторинг проектов и в отпуск — пришлось обучать свой LLM.Часть 3.Дистилляция

Третья часть про DevOps-агента Oni. В первой статье я встретился с реальностью — локальные модели не справляются с простыми задачами. Во второй разб…

LLMфайнтюнингfine-tuningLoRADevOps-агентOllamaобучение LLMcatastrophic forgettingUnslothAI-агент
Habr
RU

SocratiCode: разбираю MCP-сервер, который даёт ИИ-агенту понимание кодовой базы

Если ваш ИИ-агент при каждом вопросе начинает grep-ом по всему проекту — у меня есть для вас одна штука. SocratiCode — это MCP-сервер, который индек…

MCPClaude Codeвекторный поискQdrantOllamacodebase intelligenceAI-агентыRAG