How I Self-Host vLLM on Cloud GPUs for Sub-180ms Inference (And Saved 45% on Costs)
When building 24/7 autonomous daemon agents and real-time LLM-driven game loops , API bills from commercial LLM providers explode fast. If your agen…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- игры
AI
Gear
News
Tech
agents
ai
api
architecture
automation
beginners
career
database
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
LLMOps for RAG Systems — Production Checklist
Why the pipeline, not the model, is usually to blame If your LLM feature starts hallucinating or your inference bill doubles overnight, the model is…
Four bugs from building a platform where AI agents publish autonomously
I spent six weeks building a publication where AI agents write articles, an automated moderator approves or rejects them, and no human reviews anyth…
Почему ML-модель получает неправильные признаки: Event Time, Watermarks и Apache Flink
Представьте: вы разрабатываете антифрод-систему для банка. Пользователь совершает пять покупок подряд за пару минут. Все транзакции успешно попадают…
When Should You Retrain Your ML Model? A New Study Says Most Teams Are Solving the Wrong Problem
Every production ML model starts degrading the moment it ships. Customer behavior shifts, fraud patterns evolve, market conditions change — the tech…
[Перевод] Масштабирование LLM: от одного чипа до ЦОДа. Глава 5. Инференс
Предыдущая глава Ну а теперь рассмотрим, как нам применить обученный трансформер. И применение уже обученной модели сильно отличается от тренировки,…
Что такое RAGFlow и с чем его едят
Если вы хоть раз пользовались LLM, то почти наверняка сталкивались с двумя ее классическими болячками: галлюцинациями и устаревшими знаниями. А когд…
The Serverless Equation: Conquering the Cold Start in Real-Time AI Inference
In our inaugural issue , we established that the future of enterprise AI lies not merely in raw model parameters, but in the architectural paradigms…
Как мы внедрили AIOps для контроля GPU‑утилизации и повысили её на 60%
Привет, Хабр! На связи Даниил Понизов и Роман Лазовский , руководитель и MLOps-инженер команды ML-платформы в RWB. Мы занимаемся разработкой платфор…
Приватная LLM в облаке: развертываем RAG-систему в Managed Kubernetes
Выход в продакшен с собственными языковыми моделями внутри корпоративного контура часто упирается в высокую стоимость GPU-оборудования и сложные рис…
Книга: «LLM на практике. Большие языковые модели от идеи до внедрения»
Привет, Хаброжители! Искусственный интеллект стремительно развивается, и именно большие языковые модели (LLM) задают направление всей индустрии. Пог…
От капстоуна к продакшену: fail‑fast, structured logs, Prometheus и Docker‑образ 8.15GB → 1.35GB
У меня есть RAG‑сервис: проверяет фактологические утверждения в бизнес‑отчётах против реальных источников — SEC EDGAR, World Bank, FR…
MLOps для DevOps-инженера: как построить платформу машинного обучения в закрытом контуре
Мы построим прототип MLOps-платформы с нуля. Без Kubeflow, без облаков, без магии. Только Kubernetes, Helm, ArgoCD и ещё дюжина компонентов, каждый…
Как за 5 недель построить рекомендательную систему в TravelTech: Kafka и MongoDB вместо Feature Store
Привет! Меня зовут Кристина, я MLOps-инженер в Туту. Занимаюсь тем, что помогаю рекомендательным системам добраться до прода со всеми компромиссами,…
I Reviewed 100 Reddit Threads About GPU Clouds. Price Was Only Part of the Story.
When engineers compare GPU clouds, the conversation usually starts with three familiar numbers: GPU model VRAM Hourly price Those numbers matter. Bu…
Бесшовный переход в индустрию: как закрыть разрыв между вузом и реальным ИИ‑проектом
Привет, Хабр, я Анастасия Сапрыкина, работаю на стыке двух миров: академического и индустриального. Сейчас в России активно развивается пр…
CI/CD для данных и моделей на Airflow: как мы деплоим прогноз спроса в «Магните»
Артефакт нашей сборки — не бинарник, а код вместе с терабайтами рассчитанных таблиц. Рассказываем, как из штатных фич Airflow, Spark и Delta Lake у…
Constrained Decoding vs Post-hoc Validation: Production LLM Extraction Needs Both
Constrained decoding and post-hoc validation solve different problems. Constrained decoding is generation-time control: fewer malformed payloads les…
Коробка с нейросетями: готовая ИИ-инфраструктура, которая просто работает
Привет, Хабр! В день, когда весь мир в очередной раз обсуждает «умные» ассистенты, генеративные сети и спорит, заменит ли ИИ разработчиков, хочется…
Оценка быстродействия детекторов YOLO на Raspberry Pi 5 HAT+
В предыдущей статье я описал процесс компиляции модели yolo8n в HEF-файл для нейрочипа HAILO-8L в модуле HAT+. В этой работе я оцениваю быстродейств…
You're Not Paying for Compute. You're Paying for Memory Bandwidth
TL;DR— Inference cost conversations obsess over FLOPs and token prices, but the real constraint on LLM serving is memory bandwidth— specifically the…
От legacy до промышленной платформы: инженерная эволюция OSA в «Магнит»
Как мы провели проект через четыре «эпохи» — от ручных запусков на Windows‑планировщике до Spark + k8s на масштабе сет…
Как оптимизировать инференс LLM: кеширование, время ответа и GPU-ресурсы
Вы запустили LLM-инференс в продакшене. Поток запросов не менялся, нагрузка та же, что вчера, — а Time to First Token внезапно вырос в три ра…
Deploying ClearML as a GCP Vertex AI Alternative on Ubuntu
Google Vertex AI is Google Cloud's managed ML platform with experiment tracking, training jobs, pipelines, a model registry, and endpoints, but it l…
Как компании строят MLOps без собственной ML-платформы: workflow-фреймворки
Всем привет! Меня зовут Катерина Цаплина, я AI Architect и программный эксперт курса «MLOps для разработки и мониторинга моделей» . Работаю на стыке…
Can your AI agent actually manage ML infrastructure?
I’ve spent enough time in production environments to know that 'chatting with an AI' is a useless metric if the AI can't touch the actual hardware o…
Summary — Your Next Steps as an AI Architect
What We Built in This Guide In the previous guide, we went from RAG to cloud deployment. In this guide, we systematically implemented everything nee…
Your Guardrails Are a Firewall. Your Failures Are a Cascade
TL;DR— Most production AI teams build safety layers using the content-moderation mental model: classify input, classify output, block or pass. But t…
Three weeks before the enterprise contract, the voice agent wasnt operator-ready.
Three weeks before the enterprise contract, the voice agent wasn't operator-ready Look. We had 99.2% uptime in staging. We had eval coverage on 1,40…
Deploying ClearML as an AWS SageMaker Alternative on Ubuntu
ClearML is an open-source MLOps platform that pairs experiment tracking, pipelines, hyperparameter optimisation, and model serving, a self-hosted al…