AI & ML — Tech News

RU

Как я подружил llama-server с Claude Code: доработка Go-лаунчера для локальных LLM

В своих прошлых материалах я уже рассказывал о запуске крупных MoE-моделей на ограниченном железе через llama-server и о сравнительных экспериментах…

искусственный интеллект claude-code локальные llm локальные модели llama.cpp

RU

70 токенов в секунду в qwen3.8-27b на RTX 3090

На текущий момент qwen3.8-27b без сомнений лучшая модель для программирования, которую можно запускать на потребительских видеокартах. К сожалению п…

llm инференс инференс моделей rtx3090 llama.cpp qwen qwen3.8 qwen3.8-27b локальный инференс

RU

Домашний ИИ и пути развития: одна Tesla V100 32 ГБ в 2026 году

Старая серверная карта Tesla V100 на 32 ГБ до сих пор стоит как одна современная видеокарта среднего класса, а памяти у неё столько, что в неё целик…

Tesla V100 llama.cpp Ollama Strata домашний сервер MoE Qwen3.8 IBM AC922

RU

35B‑модель на RTX 5080 и RTX 3060: 109 ток/с через PCIe Gen2 x4

Моя RTX 3060 на PCIe Gen2 x4 не мешает генерации Qwen3.6–35B‑A3B со скоростью 109 ток/с. Разбираю, почему это работает…

llama.cpp локальные llm moe gguf инференс llm vram использование pcie qwen3.6 qwen 3.6 27b локальный ии

RU

Полтора месяца ускорял MoE на GTX 1660 SUPER: выиграл штатный флаг llama.cpp

Я тепломеханик, начальник отдела в проектной организации, не программист. С августа ковыряю форк llama.cpp: хочу, чтобы большие MoE‑м…

llama.cpp gpt-oss локальные модели MoE видеопамять KV-кэш бенчмарки GTX 1660

RU

Как запустить Gemma на сервере: сравниваем Ollama и llama.cpp

Откройте любую статью-инструкцию по установке LLM, в которой фигурирует Ollama. Уверен, в комментариях к ней автору уже объяснили, насколько он непр…

selectel ai ml ai-агенты gemma Ollama llama.cpp LLM llm-модели Gemma 4

RU

Локальные нейросети без Python, CUDA и терминала: делаю программу, в которой всё настраивается само

Vulkan на моей GTX 1080 генерирует в полтора раза быстрее CUDA. Qwen вставляет китайские слова в русский текст даже при температуре 0. А маленькая м…

локальные нейросети LLM llama.cpp Rust Tauri Vulkan CUDA HuggingFace GGUF Ollivo

RU

GTX 1080 Ti не сдаётся: выбираем лучшую MoE-модель для llama-server среди 35B, 120B и 176B

Привет, Хабр! В прошлой статье я рассказывал, как запустить 176B-класс Qwen3.8-Flash-Next на GTX 1080 Ti, и тогда это был, скорее, эксперимент на гр…

ai llm-модели llama.cpp server эксперимент старое компьютерное железо видеокарта gtx 1080 vram

RU

Qwen3.8–27B на двух RTX 3060 12ГБ: как я разогнал OpenCode с ~9 до ~40 токенов/с при 128K контекста

Можно ли превратить две RTX 3060 12 ГБ на старой Z97-платформе в нормальный локальный backend для OpenCode? Я начал с 9&nbs…

Qwen3.8 llama.cpp RTX 3060 local LLM MTP speculative decoding multi-GPU GGUF OpenCode KV cache

RU

Я захотел, чтобы Obsidian заполнялся сам

Я хотел, чтобы поток звука и текста сам складывался по коробочкам и вставал на нужные полочки, а в Obsidian уже лежали готовые з…

Obsidian LLM Whisper Qwen llama.cpp local AI open source knowledge graph Windows memplua

RU

Как запустить 176B‑класс Qwen3.8-Flash‑Next в DeepSeek Harness на GTX 1080 Ti

Когда смотришь на характеристики современных MoE‑моделей, иногда возникает странная мысль: а что будет, если взять модель с сотн…

ai ai-агенты llm-модели llama llama.cpp llm-агенты deepseek harness

RU

[Перевод] «Друзья не дают друзьям пользоваться Ollama»

Ниже — перевод статьи «Friends Don’t Let Friends Use Ollama» , опубликованной на Sleeping Robots в апреле 2026 года. Поскольку з…

Ollama llama.cpp локальные LLM GGUF инференс open source Hugging Face DeepSeek R1 Modelfile облачные LLM

RU

Запустить LLM локально: что считать до покупки видеокарты?

Мощная видеокарта не всегда означает быстрый локальный запуск LLM. Разбираемся, почему GPU может простаивать, как на производите…

локальный инференс большие языковые модели LLM машинное обучение нейросети GPU квантование моделей Ollama llama.cpp vLLM

RU

Как я выбирал локальную модель для кодинга на 16 ГБ VRAM — и трижды менял победителя

Сначала я выбрал модель, которая отлично писала код. Подключил её к OpenCode и выяснил, что создавать файлы на диске она просто не&nb…

локальные LLM локальные нейросети Qwen3-Coder llama.cpp OpenCode модели для программирования квантование моделей VRAM WordPress-разработка агентское программирование

RU

Сайзинг RAM и vCPU для локальной языковой модели: считаем стартовый размер VM

Сайзинг RAM и vCPU для локальной языковой модели начинается с конкретных весов и профиля запросов. Исходные требования self-hosted LLM включают длин…

локальные llm self-hosted llama.cpp gguf ram vcpu kv-cache квантование inference numa

RU

Букмарклет вычисляющий скорость gguf модели в llama.cpp на hf

С приходом нейросетей теперь можно решать задачи гораздо проще, правда и задачи бы такой не стояло не будь нейросетей и llama.cpp, и huggingface. В…

llama.cpp llm-модели gguf

RU

Qwen3.8. MTP и тензорный параллелизм в llama.cpp: 75 ток/сек на двух RTX 3090

Плотная 27-миллиардная модель на двух RTX 3090 в llama.cpp из коробки даёт 32 токена в секунду. Интуитивно понятно, что это не предел: две карты по…

llm ai llama.cpp qwen qwen3.8 gguf квантование локальные нейросети локальные модели

RU

753B на одной видеокарте: разбор FreeToken

Бывает так: сидишь, листаешь ленту, и в очередной раз натыкаешься на пост, где стафф-инженер из солнечной Калифорнии крутит свежую модельку на паре…

moe локальные модели инференс llama.cpp llm оффлоадинг агенты cuda gpu freetoken

RU

Чем Go полезен при разработке AI‑агентов

Всем привет! Меня зовут Илья Данилкин , я тимлид в  Авито Авто . AI-агенты обычно живут рядом с Python, но всё же немало команд выбирают язык G…

go Golang AI-агенты MCP context.Context горутины llama.cpp локальные LLM

RU

А все-таки Qwen3.8-27B — думает меньше и быстрее чем 3.6

В пятницу вышла Qwen3.8-27B. Скажу честно, с середины мая я отказался от подписок и сидел исключительно на локальной Qwen3.6 (для всех своих домашни…

qwen3.8-27B llama.cpp gguf conversion llama.cpp settings

RU

3 бита вместо 16: разбираем TurboQuant и когда его реально стоит включать

В марте 2026 года Google публикует пост про алгоритм сжатия памяти для языковых моделей. Звучит скучно, правда? Но акции Micron, SanDisk, Samsung, S…

kv cache llm llama.cpp sglang vllm selectel

RU

MoE на 5090 недобирает полтора раза, и дело не в маршрутизации

RTX 5090, одна и та же сборка llama.cpp, один драйвер, батч 1. Плотная Qwen3.5-9B выбирает 72% пропускной способности памяти карты. MoE Qwen3.5-35B-…

llama.cpp moe rtx 5090 пропускная способность памяти cuda gpu инференс ллм бенчмарк профилирование qwen 3.5

RU

Всё, что вы хотели знать о локальном ИИ, но стеснялись спросить

Если вы когда-нибудь смотрели на HF и не понимали, что такое DFlash, квантизация и почему одна и та же модель лежит в десяти репозиториях от десяти…

llm локальные модели квантизация llama.cpp apple silicon gguf инференс moe meta

RU

Тест локальных MOE моделей

Я тут решил решил чуток заморочиться и протестировать локальные MOE модели на кодинг. Кодинг громко сказано - мои задачи исключительно игры причем н…

llm llama.cpp игры html

RU

Как я смог запустить 32b модель и сделать ее умнее в два раза на 3050

Всем здрайвствуйте я Titled и я создал форк llama.cpp где реализовал все свои жаветные мечты сейчас расскажу что это было и почему я написал такооой…

ии форк llama.cpp нейросети умно типа умножение матриц

RU

Как я ужал русский эмбеддер до 24 млн параметров — и чуть не испортил его одной цифрой

TL;DR.  У меня локальный RAG на AMD Strix Halo. Памяти там достаточно, но вычислительно всё упирается в один iGPU: его деля…

эмбеддинги RAG retrieval энкодеры RuModernBERT STRIZH llama.cpp GGUF Vulkan Strix Halo

RU

Дообучим старый ruGPT3 XL 1.3B (~2020 год) до уровня LLM. ChatGPT выйдет только через 2 года. Сравним с Gemma3 2025 года

Древняя модель ruGPT-3 XL 1.3B конца 2020 - начала 2021. Модели тех времён не умели выполнять инструкции или вести диалог в чате, они умели только п…

llama.cpp transformers обучение finetune rugpt rugpt3 sft dpo

RU

Qwen 3.6 27b на 8-12gb vram в llama.cpp до 256к контекста

Вышло 2 модели prism-ml/Ternary-Bonsai-27B-gguf и prism-ml/Bonsai-27B-gguf Модели представлены в 2-битном и 1-битном вариантах и занимают всего 7,2…

llama.cpp ai gpt localllm

RU

Запуск и оптимизация локальной LLM с llama.cpp

В статье разберём фреймворк llama.cpp для запуска локальной LLM на выделенном облачном GPU, а также практический подход к оптимизации производительн…

llama.cpp CUDA Linux LLM оптимизация

RU

Как я обучил русский RAG‑сплиттер, который режет документы по индексам, а не по тексту

TL;DR.  Из интереса обучил собственный русский RAG‑сплиттер — захотелось проверить, можно ли сделать context‑aware‑нарезку русск…

rag чанкинг дистилляция lora unsloth токенизация llama.cpp gguf vulkan amd