Tech News — Latest News

All EN RU

Приватная LLM в облаке: развертываем RAG-систему в Managed Kubernetes

Выход в продакшен с собственными языковыми моделями внутри корпоративного контура часто упирается в высокую стоимость GPU-оборудования и сложные рис…

selectel kubernetes managed kubernetes llm rag vllm qdrant gpu mlops devops

3 бита вместо 16: разбираем TurboQuant и когда его реально стоит включать

В марте 2026 года Google публикует пост про алгоритм сжатия памяти для языковых моделей. Звучит скучно, правда? Но акции Micron, SanDisk, Samsung, S…

kv cache llm llama.cpp sglang vllm selectel

Hermes c локальными LLM vs GigaCode: сравниваем агентов на реальных PHP/Symfony-задачах

На YouTube очень часто мне попадаются видео, где сравнивают разные LLM для вайбкодеров: сделай 3D-аквариум с рыбками, напиши игру, слепи лендинг. Но…

PHP Symfony GigaCode Hermes vllm агентное программирование локальные llm

Ускорение инференса энкодерной guard‑модели: TensorRT, Triton, vLLM, Ray Serve

Когда в системе есть узел между LLM и пользователем его скорость также важна, как и скорость самой LLM. Когда этот узел сам является модел…

gliner2 gliner guard guardrails tensorrt vllm nvidia инференс нейросетей triton-inference-server

Хватит сливать данные в Claude и GPT: как поднять свой on‑prem LLM

Представим на секунду, что есть проблема, которую над срочно пофиксить, в рабочем чате никто не отвечает, инженер, на котор…

llm openai anthropic vllm ollama self-hosted on-prem on-premise ruvds_статьи

Как деградирует продовый LLM-инференс: KV-cache, OOM и хвост p99

Демо нагрузки и реальная нагрузка различаются. Демо всегда быстрое — если поставить модель и прогнать пару запросов, то latency вас обрадует, а TTFT…

vk cloud llm inference kv cache gpu memory oom latency p99 continuous batching paged attention vllm tail latency

Как деградирует продовый LLM-инференс: KV-cache, OOM и хвост p99

vk cloud llm inference kv cache gpu memory oom latency p99 continuous batching paged attention vllm tail latency

Локальный запуск LLM для SOC: сколько инцидентов обработает одна GPU? Часть 2

Всем привет! На связи Сергей Иванов, аналитик технологий машинного обучения R‑Vision. В первой части эксперимента мы выяснили, как на&nbsp…

llm soc gpu автоматизация SOC nvidia rtx pro 6000 blackwell vllm qwen3.5 AI в SOC инференс llm self-hosted llm

Инференс LLM: от KV-кэша до продакшен-деплоя

Привет! Я Саша Рыжов, MLOps-инженер в hh.ru , уже три года занимаюсь развитием инфраструктуры для искусственного интеллекта. Компании, которые разви…

sglang llm inference kv-cache sram vllm

Локальный запуск LLM для SOC: сколько GPU действительно нужно?

Всем привет! На связи Сергей Иванов, аналитик технологий машинного обучения R-Vision. В этой статье разберем, почему для задач SOC можно начинать с…

llm-модели локальный запуск llm vllm qwen gpu NVIDIA RTX PRO 6000 Blackwell soc soar ai в кибербезопасности

DSpark на двух DGX Spark: порт, баг на одну строку и бенчмарки, которые пришлось мерить заново

DeepSeek выпустил DSpark — спекулятивный декодер для V4. В окне 27–30 июня 2026 рабочего публичного пути для GB10&nbsp…

dgx spark deepseek vllm спекулятивный декодинг speculative decoding dspark llm-инференс бенчмарки nvfp4 nvfp8

Облачная LLM на 16 ГБ VRAM — часть 3: ChatGPT-интерфейс для ваших LangGraph-агентов

Финал цикла про облачную LLM на 16 ГБ VRAM. За две предыдущие статьи мы подняли собственную локальную модель на облачном сервере с GPU на 16 ГБ VRAM…

langgraph langchain agent-chat-ui next.js fastapi vllm mcp ai-агенты nginx selectel

[Перевод] Как оптимизировать LLM-инференс в 2026 году

Если вы в 2026 году запускаете LLM в продакшене, то почти наверняка больше всего денег тратите на инференс. Одна неоптимизированная модель размером…

оптимизация инференса llm в продакшене mlops vllm kv cache pagedattention prefix caching квантование спекулятивный декодинг

DeepSeek‑V4‑Flash на двух DGX Spark: как мы убрали очередь и получили multi‑user

Подняли DeepSeek‑V4‑Flash на двух GB10, упёрлись в потолок consumer Blackwell, прошли три тупика со спекулятивным декодингом — и в итоге получили па…

dgx spark vllm deepseek-v4 gb10 tensor parallel AGmind llm inference спекулятивный декодинг

Ubuntu 26.04 на клоне DGX Spark (Asus GX10)

DGX Spark и его клоны поставляются с DGX OS (фактически, Ubuntu 24.04 с кучей дополнительных пакетов от Nvidia). Причем, драйвера используются довол…

nvidia dgx spark Ubuntu llama.cpp vllm

Anthropic, Fable 5, Claude Code и большой отбор игрушек

9 июня Anthropic выкатила  Claude Fable 5 , он же Mythos 5 в закрытом контуре. 12 июня доступ к обеим версиям сняли. А между этими датами умест…

claude fable 5 mythos 5 anthropic llm локальные модели vllm ollama hugging face управление зависимостями ИИ-безопасность

[Перевод] GPU-автоскейлинг на Kubernetes с KEDA: создание внешнего скейлера

Если вы запускаете GPU-нагрузки (графические ускорители) на Kubernetes — vLLM, Triton, обучающие задачи или более новые стеки агентного инференса, —…

kubernetes keda gpu autoscaling external scaler nvml vllm triton helm greenops

Как я разогнал Qwen3.6-27B до 73 токен/с в llama.cpp: параметры, которые реально работают

Локальные LLM сейчас — это действительно мощный инструмент. Они уже вплотную приблизились к проприетарным моделям вроде Claude, особенно в задачах к…

LLM llama.cpp javascript AI vllm

Qwen3.5 на двух V100, reverse SSH вместо Cloudflare в Telegram Mini App: собираю AI-репетитора английского

У меня в углу комнаты стоит сервер с двумя Tesla V100 32GB. Они доcтались мне для другой задачи, которая отвалилась, и полгода стояли мёртвым грузом…

vllm qwen3.5 telegram bot telegram mini apps aiogram 3 fastapi self-hosted llm kokoro tts whisper tesla v100

Визуальный поиск: Новый подход к обнаружению объектов

Метод LocateAnything использует параллельное декодирование ограничивающих рамок для улучшения скорости и качества визуального обоснования и обнаруже…

vllm

Как мы построили корпоративную LLM-платформу: архитектура, грабли и выводы

Обычно внедрение AI в компаниях происходит по такому сценарию: собрали одного ассистента, показали руководству, получили аплодисменты. Потом второго…

ai llm openwebui langflow langfuse litellm vllm openai

Как развернуть Mistral 7B на GPU-сервере через vLLM

Если бюджет и ресурсы ограничены, а развернуть self-hosted LLM нужно, присмотритесь к такой связке: Mistral-7B-Instruct-v0.3 + виртуальная машина с…

ai mistral 7b vllm инференс llm gpu облачный сервер api nvidia rtx selectel

DGX Spark на 256K контексте: тестирую конфигурации vLLM, реальные замеры и почему NVFP4 в mainline сломан

NVIDIA продаёт спарку с лозунгом «один петафлоп на FP4». Я купил коробку, поставил vLLM, запустил инференс и получил 40 токенов в&nbs…

vllm dgx spark gb10 blackwell nvfp4 llm инференс локальный ии

Как я собрал на DGX Spark приватный AI-сервер, и теперь рассказываю, что туда вошло

У меня на столе стоит небольшая золотистая коробочка размером чуть больше Mac mini. Внутри — приватный AI-сервер: чат с локальной 26B-моделью, поиск…

dgx spark gb10 arm64 vllm dify ragflow rag llm