Почему ML-модель получает неправильные признаки: Event Time, Watermarks и Apache Flink
Представьте: вы разрабатываете антифрод-систему для банка. Пользователь совершает пять покупок подряд за пару минут. Все транзакции успешно попадают…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- Искусственный интеллект, машинное обучение, нейросети
- Новости сети
- автомобили, мотоциклы, транспортные средства
- вирусы, трояны, уязвимости в ПО, вопросы безопасности
- игры
- космос
- мобильные телефоны, смартфоны, сотовая связь, коммуникаторы, КПК
- модули ОЗУ, карты памяти, флеш-накопители, кардридеры
- на острие науки
- процессоры
LLM
ai
ai-агенты
claude
devops
llm
open source
python
ruvds_статьи
Статьи
автоматизация
ии
ии-агенты
информационная безопасность
искусственный интеллект
машинное обучение
нейросети
программирование
тестирование
управление проектами
[Перевод] Масштабирование LLM: от одного чипа до ЦОДа. Глава 5. Инференс
Предыдущая глава Ну а теперь рассмотрим, как нам применить обученный трансформер. И применение уже обученной модели сильно отличается от тренировки,…
Что такое RAGFlow и с чем его едят
Если вы хоть раз пользовались LLM, то почти наверняка сталкивались с двумя ее классическими болячками: галлюцинациями и устаревшими знаниями. А когд…
Как мы внедрили AIOps для контроля GPU‑утилизации и повысили её на 60%
Привет, Хабр! На связи Даниил Понизов и Роман Лазовский , руководитель и MLOps-инженер команды ML-платформы в RWB. Мы занимаемся разработкой платфор…
Приватная LLM в облаке: развертываем RAG-систему в Managed Kubernetes
Выход в продакшен с собственными языковыми моделями внутри корпоративного контура часто упирается в высокую стоимость GPU-оборудования и сложные рис…
Книга: «LLM на практике. Большие языковые модели от идеи до внедрения»
Привет, Хаброжители! Искусственный интеллект стремительно развивается, и именно большие языковые модели (LLM) задают направление всей индустрии. Пог…
От капстоуна к продакшену: fail‑fast, structured logs, Prometheus и Docker‑образ 8.15GB → 1.35GB
У меня есть RAG‑сервис: проверяет фактологические утверждения в бизнес‑отчётах против реальных источников — SEC EDGAR, World Bank, FR…
MLOps для DevOps-инженера: как построить платформу машинного обучения в закрытом контуре
Мы построим прототип MLOps-платформы с нуля. Без Kubeflow, без облаков, без магии. Только Kubernetes, Helm, ArgoCD и ещё дюжина компонентов, каждый…
Как за 5 недель построить рекомендательную систему в TravelTech: Kafka и MongoDB вместо Feature Store
Привет! Меня зовут Кристина, я MLOps-инженер в Туту. Занимаюсь тем, что помогаю рекомендательным системам добраться до прода со всеми компромиссами,…
Бесшовный переход в индустрию: как закрыть разрыв между вузом и реальным ИИ‑проектом
Привет, Хабр, я Анастасия Сапрыкина, работаю на стыке двух миров: академического и индустриального. Сейчас в России активно развивается пр…
CI/CD для данных и моделей на Airflow: как мы деплоим прогноз спроса в «Магните»
Артефакт нашей сборки — не бинарник, а код вместе с терабайтами рассчитанных таблиц. Рассказываем, как из штатных фич Airflow, Spark и Delta Lake у…
Коробка с нейросетями: готовая ИИ-инфраструктура, которая просто работает
Привет, Хабр! В день, когда весь мир в очередной раз обсуждает «умные» ассистенты, генеративные сети и спорит, заменит ли ИИ разработчиков, хочется…
Оценка быстродействия детекторов YOLO на Raspberry Pi 5 HAT+
В предыдущей статье я описал процесс компиляции модели yolo8n в HEF-файл для нейрочипа HAILO-8L в модуле HAT+. В этой работе я оцениваю быстродейств…
От legacy до промышленной платформы: инженерная эволюция OSA в «Магнит»
Как мы провели проект через четыре «эпохи» — от ручных запусков на Windows‑планировщике до Spark + k8s на масштабе сет…
Как оптимизировать инференс LLM: кеширование, время ответа и GPU-ресурсы
Вы запустили LLM-инференс в продакшене. Поток запросов не менялся, нагрузка та же, что вчера, — а Time to First Token внезапно вырос в три ра…
Как компании строят MLOps без собственной ML-платформы: workflow-фреймворки
Всем привет! Меня зовут Катерина Цаплина, я AI Architect и программный эксперт курса «MLOps для разработки и мониторинга моделей» . Работаю на стыке…
Эксплуатация моделей (ModelOps)
Привет, Хаброжители! Сегодня мы поделимся с вами отрывком из книги: «Современная бизнес‑аналитика. Увеличьте ценность данных с помощь…
«Взрыв поверхности» или «вертикальный срез»: какой подход выбрать при построении MLOps-платформы?
Привет, Хабр! Меня зовут Кирилл Кулаков, я занимаюсь развитием MLOps-платформы в Uzum Fintech. Недавно у нас в команде разгорелся спор о том, как пр…
LLM Sandbox: пример реализации агента с песочницей [часть 2, практика]
Статья посвящена практической реализации агента с изолированной средой исполнения кода. Рассказываю как устроен агент, который пишет и исполняет код…
[Перевод] Как оптимизировать LLM-инференс в 2026 году
Если вы в 2026 году запускаете LLM в продакшене, то почти наверняка больше всего денег тратите на инференс. Одна неоптимизированная модель размером…
Компиляция yolov8n в формат HEF для Hailo-8L на Raspberry Pi 5
Подготовка модели Yolo для запуска на базе Hailo чипа для Raspberry Pi 5 AI HAT+. Если есть интерес к легким аппаратным решениям в области ИИ, то до…
Почему пилоты ИИ не масштабируются? У них нет системы управления
Пилот ИИ может хорошо работать на демонстрации и всё равно быть не готовым к промышленной эксплуатации. В статье разберем, какие элементы управления…
Невозможно быть вне политики с Airflow Cluster Policies
Привет, Хабр! Я Миша Онянов, Python-разработчик и платформенный инженер в крупнейшем проекте MAGNIT TECH – F&R. Из статьи вы узнаете, как с помо…
LLM Sandbox: изолированная среда для исполнения кода от LLM [часть 1, теория]
В большинстве бизнес-сценариев LLM перестала быть просто чат-ботом. Современные модели становятся частью агентских систем: у них есть инструменты, д…
Когда компании пора строить свой LLM-кластер, а не пользоваться внешними API
На раннем этапе внедрения LLM в компании выглядят как быстрый выигрыш: подключается внешний API (например, ChatGPT), ускоряется работа с текстами, а…
[Перевод] Месть дата-сайентиста: почему LLM не отменили нашу профессию
LLM упростили запуск AI-функций до нескольких вызовов API, и дата-сайентисты будто бы выпали из критического пути. На практике именно здесь начинают…
Миф о «равных весах»: что на самом деле скрывается внутри малых моделей
Последние годы развитие LLM шло по пути экстенсивного масштабирования: считалось, что чем больше весов и данных, тем умнее модель. В индустрии даже…
Трансформер в on-premise AppSec: как мы встроили ML-модель для классификации секретов в продукт без GPU
Рассказываем, как мы интегрировали CodeBERT-based модель классификации секретов в production-продукт с жёсткими ограничениями по железу, сократив вр…
Почему 4 сеньёра могут быть эффективнее команды из 15 человек
Есть компании, которые верят в то, что уж лучше много джунов за копейки, чем несколько сеньоров за дорого. Очевидно, мнения могут быть разными, поэт…
Инженерный подход к MLOps: как принципы расчётной механики ложатся в архитектуру AutoML
«Если что-то может пойти не так, это обязательно случится» . Мы не пытаемся предотвратить отказ, мы проектируем систему так, чтобы отказ одного элем…