Tech News — Latest News

All EN RU

Qwen3.8. MTP и тензорный параллелизм в llama.cpp: 75 ток/сек на двух RTX 3090

Плотная 27-миллиардная модель на двух RTX 3090 в llama.cpp из коробки даёт 32 токена в секунду. Интуитивно понятно, что это не предел: две карты по…

llm ai llama.cpp qwen qwen3.8 gguf квантование локальные нейросети локальные модели

753B на одной видеокарте: разбор FreeToken

Бывает так: сидишь, листаешь ленту, и в очередной раз натыкаешься на пост, где стафф-инженер из солнечной Калифорнии крутит свежую модельку на паре…

moe локальные модели инференс llama.cpp llm оффлоадинг агенты cuda gpu freetoken

Чем Go полезен при разработке AI‑агентов

Всем привет! Меня зовут Илья Данилкин , я тимлид в  Авито Авто . AI-агенты обычно живут рядом с Python, но всё же немало команд выбирают язык G…

go Golang AI-агенты MCP context.Context горутины llama.cpp локальные LLM

А все-таки Qwen3.8-27B — думает меньше и быстрее чем 3.6

В пятницу вышла Qwen3.8-27B. Скажу честно, с середины мая я отказался от подписок и сидел исключительно на локальной Qwen3.6 (для всех своих домашни…

qwen3.8-27B llama.cpp gguf conversion llama.cpp settings

3 бита вместо 16: разбираем TurboQuant и когда его реально стоит включать

В марте 2026 года Google публикует пост про алгоритм сжатия памяти для языковых моделей. Звучит скучно, правда? Но акции Micron, SanDisk, Samsung, S…

kv cache llm llama.cpp sglang vllm selectel

MoE на 5090 недобирает полтора раза, и дело не в маршрутизации

RTX 5090, одна и та же сборка llama.cpp, один драйвер, батч 1. Плотная Qwen3.5-9B выбирает 72% пропускной способности памяти карты. MoE Qwen3.5-35B-…

llama.cpp moe rtx 5090 пропускная способность памяти cuda gpu инференс ллм бенчмарк профилирование qwen 3.5

Всё, что вы хотели знать о локальном ИИ, но стеснялись спросить

Если вы когда-нибудь смотрели на HF и не понимали, что такое DFlash, квантизация и почему одна и та же модель лежит в десяти репозиториях от десяти…

llm локальные модели квантизация llama.cpp apple silicon gguf инференс moe meta

Тест локальных MOE моделей

Я тут решил решил чуток заморочиться и протестировать локальные MOE модели на кодинг. Кодинг громко сказано - мои задачи исключительно игры причем н…

llm llama.cpp игры html

Как я смог запустить 32b модель и сделать ее умнее в два раза на 3050

Всем здрайвствуйте я Titled и я создал форк llama.cpp где реализовал все свои жаветные мечты сейчас расскажу что это было и почему я написал такооой…

ии форк llama.cpp нейросети умно типа умножение матриц

Как я ужал русский эмбеддер до 24 млн параметров — и чуть не испортил его одной цифрой

TL;DR.  У меня локальный RAG на AMD Strix Halo. Памяти там достаточно, но вычислительно всё упирается в один iGPU: его деля…

эмбеддинги RAG retrieval энкодеры RuModernBERT STRIZH llama.cpp GGUF Vulkan Strix Halo

Дообучим старый ruGPT3 XL 1.3B (~2020 год) до уровня LLM. ChatGPT выйдет только через 2 года. Сравним с Gemma3 2025 года

Древняя модель ruGPT-3 XL 1.3B конца 2020 - начала 2021. Модели тех времён не умели выполнять инструкции или вести диалог в чате, они умели только п…

llama.cpp transformers обучение finetune rugpt rugpt3 sft dpo

Qwen 3.6 27b на 8-12gb vram в llama.cpp до 256к контекста

Вышло 2 модели prism-ml/Ternary-Bonsai-27B-gguf и prism-ml/Bonsai-27B-gguf Модели представлены в 2-битном и 1-битном вариантах и занимают всего 7,2…

llama.cpp ai gpt localllm

Запуск и оптимизация локальной LLM с llama.cpp

В статье разберём фреймворк llama.cpp для запуска локальной LLM на выделенном облачном GPU, а также практический подход к оптимизации производительн…

llama.cpp CUDA Linux LLM оптимизация

Как я обучил русский RAG‑сплиттер, который режет документы по индексам, а не по тексту

TL;DR.  Из интереса обучил собственный русский RAG‑сплиттер — захотелось проверить, можно ли сделать context‑aware‑нарезку русск…

rag чанкинг дистилляция lora unsloth токенизация llama.cpp gguf vulkan amd

Тесты бюджетных сборок для ИИ до 100к рублей

Локальный ИИ не должен стоить как автомобиль. Мне стало интересно: возможен ли жизнеспособный инференс на CPU и что реально дают дешевые GPU (вроде…

ai ии gpt self-hosted gpu cpu llama.cpp qwen3.6 gemma4

Я устал писать одноразовые скрипты для бенчмарков LLM и собрал харнесс, который сам считает Pareto-front

Неважно, где ты гоняешь инференс: в проде на vLLM под нагрузкой или в локалке на llama.cpp, пытаясь втиснуть Llama-3 в 4 ГБ видеопамяти — вопрос все…

LLM инференс бенчмаркинг vLLM llama.cpp метрики воспроизводимость энергоэффективность производительность gpu

Развернул Gemma 4 31B на одной 4090 48GB — и проверил, нужен ли Q8

Развернул Gemma 4 31B на одной 4090 (48 ГБ) — и проверил нужен ли «честный» Q8, и переживает ли tool-calling 4-бита. Q8 не дал ничего (+0.007 — шум)…

llm gemma self-hosting llama.cpp quantization tool-calling

LongConspectWriter: автоматическая генерация структурированных конспектов лекций на потребительском GPU

Автоматическая генерация структурированных академических конспектов из аудиозаписей лекций по точным и естественным наукам затруднена для локальных…

LLM локальные LLM llama.cpp квантизация суммаризация текста длинный контекст мультиагентные системы семантическая кластеризация LLM-as-a-judge конспекты лекций

OpenCode с NorthMiniCode на своем железе

В последнее время большинство обсуждений агентской разработки крутится вокруг Claude Code, Codex, Gemini CLI и других облачных инструментов. Но, с о…

llm-модели llm-агент self-hosted agents программирование llama.cpp opencode ии модели

Ubuntu 26.04 на клоне DGX Spark (Asus GX10)

DGX Spark и его клоны поставляются с DGX OS (фактически, Ubuntu 24.04 с кучей дополнительных пакетов от Nvidia). Причем, драйвера используются довол…

nvidia dgx spark Ubuntu llama.cpp vllm

Vibecode по дешевке — домашний сервер с Qwen Code за 25к, который не отключит Anthropic

Я начинающий инженер: учусь, работаю, пишу код. Подсел на Claude — и быстро уткнулся в лимиты: полчаса работы, и могучие руки превращаются в лапки.…

Tesla V100 локальный LLM llama.cpp домашний сервер инференс self-hosted нейросети AI-агент водяное охлаждение qwen code

LLM на iPhone: от llama.cpp до Foundation Models

В 2025 году вместе с iOS 26 компания Apple представила разработчикам Apple Foundation Models. Теперь порог входа для on-device AI упал до нескольких…

apple foundation models ios core ml локальные модели on-device ai swift llama.cpp

Создаем автономный анализатор логов на локальных ИИ моделях

У моего клиента есть пара железных серверов, которые используются для хранения и раздачи статических файлов. Все бы ничего, но любое оборудование тр…

selectel llama.cpp llm rtx 4090 анализ логов ubuntu nvidia-smi

Кто ворует ваш GPU: атаки на открытые LLM-эндпоинты (Ollama, llama.cpp) — и при чём тут кража облачных ключей

Коротко тезис: открытый Ollama — это бесплатный GPU для атакующего , и охота за таким compute давно поставлена на поток. Но за май наша сеть ханипот…

LLM Ollama llama.cpp honeypot SSRF IMDS информационная безопасность GPU n8n

Локальные LLM на Arch Linux и как увеличить скорость генерации в 20 раз

Приветствую всех читателей Хабра, в этой статье я хочу поделиться своим опытом в запуске локальных LLM, протестировать работоспособность и…

arch linux llama.cpp ollama qwen3.6 gemma4 github huggingface intel arc b580

Claude Code с локальными Qwen3.6 на AMD Strix Halo: полное руководство по настройке

Всем привет! Продолжаю тему локальных LLM. В предыдущей статье  мы сравнивали железо для инференса — Nvidia DGX Spark, Mac Studio M3 Ultra и St…

claude-code strix halo ии-агенты программирование antropic qwen3.6 локальный ии llama.cpp vibecoding

Локальная Gemma 4 на MacBook читает графики и таблицы — и врёт красивее, чем говорит правду

MacBook M3, 16 ГБ, никакого облака. Поставил свежую Gemma 4, написал инструмент: кидаешь картинку с графиком или таблицей — получаешь CSV. Три кейса…

Gemma 4 llama.cpp локальные LLM мультимодальные модели OCR извлечение данных из графиков vision-модели MacBook M3 GGUF визуализация данных

Как я разогнал Qwen3.6-27B до 73 токен/с в llama.cpp: параметры, которые реально работают

Локальные LLM сейчас — это действительно мощный инструмент. Они уже вплотную приблизились к проприетарным моделям вроде Claude, особенно в задачах к…

LLM llama.cpp javascript AI vllm

Тестируем выделенный L40S и vGPU на 16 ГБ по производительности (llama.cpp, ComfyUI)

Сегодня в интернете какой только нет информации об искусственном интеллекте или его применении в разных сферах. Можно сказать, что он уже плотно вош…

gpu vgpu llm llama.cpp нейросети comfyui vds производительность тестирование firstvds

PewDiePie выложил в open source Odysseus — персональный AI-хаб для локальной работы

Блогер PewDiePie выпустил Odysseus — self-hosted AI workspace, который он позиционирует как локальную альтернативу интерфейсам ChatGPT и Claude. Про…

agent ai pewdiepie self-hosted open-source chatgpt alternative ai-агент ai-agent llama.cpp локальный ai