Testing & QA — Tech News

RU

Qwen3.8–27B на двух RTX 3060 12ГБ: как я разогнал OpenCode с ~9 до ~40 токенов/с при 128K контекста

Можно ли превратить две RTX 3060 12 ГБ на старой Z97-платформе в нормальный локальный backend для OpenCode? Я начал с 9&nbs…

Qwen3.8 llama.cpp RTX 3060 local LLM MTP speculative decoding multi-GPU GGUF OpenCode KV cache

RU

Сайзинг RAM и vCPU для локальной языковой модели: считаем стартовый размер VM

Сайзинг RAM и vCPU для локальной языковой модели начинается с конкретных весов и профиля запросов. Исходные требования self-hosted LLM включают длин…

локальные llm self-hosted llama.cpp gguf ram vcpu kv-cache квантование inference numa

RU

Тест локальных MOE моделей

Я тут решил решил чуток заморочиться и протестировать локальные MOE модели на кодинг. Кодинг громко сказано - мои задачи исключительно игры причем н…

llm llama.cpp игры html

RU

Qwen 3.6 27b на 8-12gb vram в llama.cpp до 256к контекста

Вышло 2 модели prism-ml/Ternary-Bonsai-27B-gguf и prism-ml/Bonsai-27B-gguf Модели представлены в 2-битном и 1-битном вариантах и занимают всего 7,2…

llama.cpp ai gpt localllm

RU

Тесты бюджетных сборок для ИИ до 100к рублей

Локальный ИИ не должен стоить как автомобиль. Мне стало интересно: возможен ли жизнеспособный инференс на CPU и что реально дают дешевые GPU (вроде…

ai ии gpt self-hosted gpu cpu llama.cpp qwen3.6 gemma4

RU

LongConspectWriter: автоматическая генерация структурированных конспектов лекций на потребительском GPU

Автоматическая генерация структурированных академических конспектов из аудиозаписей лекций по точным и естественным наукам затруднена для локальных…

LLM локальные LLM llama.cpp квантизация суммаризация текста длинный контекст мультиагентные системы семантическая кластеризация LLM-as-a-judge конспекты лекций

RU

Создаем автономный анализатор логов на локальных ИИ моделях

У моего клиента есть пара железных серверов, которые используются для хранения и раздачи статических файлов. Все бы ничего, но любое оборудование тр…

selectel llama.cpp llm rtx 4090 анализ логов ubuntu nvidia-smi

RU

Локальные LLM на Arch Linux и как увеличить скорость генерации в 20 раз

Приветствую всех читателей Хабра, в этой статье я хочу поделиться своим опытом в запуске локальных LLM, протестировать работоспособность и…

arch linux llama.cpp ollama qwen3.6 gemma4 github huggingface intel arc b580

RU

Как я разогнал Qwen3.6-27B до 73 токен/с в llama.cpp: параметры, которые реально работают

Локальные LLM сейчас — это действительно мощный инструмент. Они уже вплотную приблизились к проприетарным моделям вроде Claude, особенно в задачах к…

LLM llama.cpp javascript AI vllm

RU

Тестируем выделенный L40S и vGPU на 16 ГБ по производительности (llama.cpp, ComfyUI)

Сегодня в интернете какой только нет информации об искусственном интеллекте или его применении в разных сферах. Можно сказать, что он уже плотно вош…

gpu vgpu llm llama.cpp нейросети comfyui vds производительность тестирование firstvds

RU

Qwen3.6 MTP весит на +0.3 Гб больше, а даёт ускорение в ~2 раза. С 60 t/s до 130 t/s для Qwen3.6 27B без искажений

В llama.cpp добавили поддержку MTP Qwen3.6. Дополнительные слои Multi-Token Prediction позволяют сгенерировать сразу несколько токенов за 1 проход,…

искусственный интеллект mtp llama.cpp qwen qwen3.6

RU

Калькулятор VRAM для локальных LLM: Какие модели ИИ запустятся у вас на компьютере?

Когда я начал ковыряться с локальными LLM, главная боль была не в установке моделей, а в понимании, что вообще влезет в моё железо. Документация Hug…

LLM VRAM llama.cpp локальные модели квантование KV cache GQA бенчмарк GPU

RU

Локальные LLM в реальной работе: Gemma 4, Qwen 3.6 и Qwen Coder

Привет, меня зовут Вячеслав. Я интересуюсь локальными LLM и тем, как они ведут себя в реальных задачах — не на синтетически…

llm llm-модели llama.cpp gemma4 qwen3.6 qwen opencode