RU

Кто ворует ваш GPU: атаки на открытые LLM-эндпоинты (Ollama, llama.cpp) — и при чём тут кража облачных ключей

Коротко тезис: открытый Ollama — это бесплатный GPU для атакующего , и охота за таким compute давно поставлена на поток. Но за май наша сеть ханипотов…

LLMOllamallama.cpphoneypotSSRFIMDSинформационная безопасностьGPUn8n
Habr
RU

PewDiePie: разбираю self-hosted AI-workspace, который собрал 47 тысяч звёзд за пару дней

PewDiePie последние полтора года ушёл из развлекательного контента в технику: домашний сервер, локальные LLM, self-hosting. Результат — репозиторий Od…

self-hostedAI workspaceлокальные LLMOdysseusPewDiePieOllamaDockeropencodeприватность
Habr
RU

Как я сделал локальный RAG-сервис для SRE: ищем по документации, ранбукам и коду через Ollama

Недавно делал учебный проект про автоматизацию документирования инцидентов. Поначалу планы были грандиозными: инциденты, таймлайны, интеграции с монит…

RAGLLMFastAPIPythonOllamaOpenWebUIBM25SREранбукиOpenAI-compatible API
Habr
RU

Хотел упростить мониторинг проектов и в отпуск — пришлось обучать свой LLM. Часть 4. Тестирование

Продолжаем серию про файнтюнинг и создание DevOps-агента Oni. В первой части я собирался в отпуск и хотел, чтобы локальная моделька через OpenClaw сам…

тестирование ИИagent evaluationQwen3.5файнтюнингDevOps-агентLLMбезопасность ИИprompt injectionOllamaLLM safety.
Habr
RU

Хотел упростить мониторинг проектов и в отпуск — пришлось обучать свой LLM.Часть 3.Дистилляция

Третья часть про DevOps-агента Oni. В первой статье я встретился с реальностью — локальные модели не справляются с простыми задачами. Во второй разбир…

LLMфайнтюнингfine-tuningLoRADevOps-агентOllamaобучение LLMcatastrophic forgettingUnslothAI-агент