Qwen3.8. MTP и тензорный параллелизм в llama.cpp: 75 ток/сек на двух RTX 3090
Плотная 27-миллиардная модель на двух RTX 3090 в llama.cpp из коробки даёт 32 токена в секунду. Интуитивно понятно, что это не предел: две карты по…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- Искусственный интеллект, машинное обучение, нейросети
- Новости сети
- автомобили, мотоциклы, транспортные средства
- вирусы, трояны, уязвимости в ПО, вопросы безопасности
- игры
- космос
- мобильные телефоны, смартфоны, сотовая связь, коммуникаторы, КПК
- модули ОЗУ, карты памяти, флеш-накопители, кардридеры
- на острие науки
- процессоры
LLM
ai
ai-агенты
claude
devops
llm
open source
python
ruvds_статьи
Статьи
автоматизация
ии
ии-агенты
информационная безопасность
искусственный интеллект
машинное обучение
нейросети
программирование
разработка
тестирование
Как запустить Qwen3.8-27B локально на RTX3090 (Win10)
В этой статье описывается подробная последовательность для Windows 10 и RTX3090 по установке всего необходимого программного обеспечения ( Python ,…
753B на одной видеокарте: разбор FreeToken
Бывает так: сидишь, листаешь ленту, и в очередной раз натыкаешься на пост, где стафф-инженер из солнечной Калифорнии крутит свежую модельку на паре…
Мой опыт с Hermes Agent — ненависть, любовь, ненависть, любовь
В какой‑то момент я осознал, что у меня много источников данных, есть мощная машинка в виде MacBook Pro M4 Max со 128 …
Мой опыт с Hermes Agent — ненависть, любовь, ненависть, любовь
Началось все с установки. Я пошёл почти по самому простому пути - установил его на Mac, в Docker. Потому что это агент, который работает автономно и…
Флешбэки адового 2020 года, который в 2026 уже не кажется таким страшным
Спойлер: нет, я не про пандемию Всем привет! На связи Саша Петрушин, я руковожу группой разработки в центре разработки и машинного обучения компании…
Всё, что вы хотели знать о локальном ИИ, но стеснялись спросить
Если вы когда-нибудь смотрели на HF и не понимали, что такое DFlash, квантизация и почему одна и та же модель лежит в десяти репозиториях от десяти…
Еще один день без Le Chaton Fat
Пока все ждут от Mistral локального убийцу GPT и Claude , контора по великой европейкой традиции делает то, что ЕС делает лучше всего — фильтрование…
Как я собрал полностью локальную диктовку для русского языка на Mac: GigaAM, Whisper, Qwen и Apple
VoiceSwitch — открытое menu bar-приложение для Apple Silicon: одна глобальная клавиша запускает запись, GigaAM, Whisper, Qwen или Apple распознают р…
Сколько на самом деле стоит решённая задача: считаем экономику self-hosted моделей vs API токены
Каждый раз, когда заходит разговор "что дешевле — поднять у себя открытую модель или платить за API", его почему-то ведут в ценах за токен. И почти…
Локальная RAG-система на Go, PostgreSQL и Ollama без облачных API
RAG уже стал стандартным способом научить LLM работать с собственными документами без дорогостоящего дообучения. Но за кажущейся простотой скрываетс…
Мультиполярный ИИ: почему у каждой страны теперь свои модели
12 июня 2026 года миллионы пользователей по всему миру открыли привычный интерфейс — и увидели сообщение об ошибке. Anthropic отключил доступ к моде…
Аналог Plaud на iPhone: эксперименты с локальной транскрибацией ASR на iOS
Мы делаем приложение Memo: есть куча гаджетов и сервисов вроде Plaud — это когда ты платишь за отдельную «умную» коробочку-диктофон, которая записыв…
Как мы перестраивали работу аналитиков под разработку с ИИ-агентами и SDD
Всем привет! Я Светлана Забирова, лид аналитики в Центре разработки и машинного обучения компании «Инфосистемы Джет». В ИТ работаю уже больше десяти…
Деперсонализация через QWENы или как завести маленького домашнего ИБшника
Приветики-пистолетики! Это Кирилл из Neuromed и сегодня я хотел бы затронуть вопрос деперсонализации. Да, этот тренд возможно уже уходящий, т к все…
LLM на iPhone: от llama.cpp до Foundation Models
В 2025 году вместе с iOS 26 компания Apple представила разработчикам Apple Foundation Models. Теперь порог входа для on-device AI упал до нескольких…
Как за один вечер разгрести 36 000 фотографий и почту с 2005 года, руками AI-агента и локальных моделей
Есть задачи, которые не делаются никогда. Не потому что сложные, а потому что объём убивает любое намерение на втором часу. У меня такой задачей был…
Anthropic, Fable 5, Claude Code и большой отбор игрушек
9 июня Anthropic выкатила Claude Fable 5 , он же Mythos 5 в закрытом контуре. 12 июня доступ к обеим версиям сняли. А между этими датами умест…
Развиваем ИИ-платформу в 1С
Статья о том, как мы пришли к ИИ для 1С и что из этого вышло. Материал получился про попытку собрать полноценную ИИ-платформу для работы с учетными…
Вам продают ИИ. Покупать нужно не его
Звонил мне на днях один знакомый CIO. Питерский, ритейл, средний бизнес, ничего особенного. Слушай, говорит, надо нам с ИИ что-то делать: все вокруг…
Калькулятор VRAM для локальных LLM: Какие модели ИИ запустятся у вас на компьютере?
Когда я начал ковыряться с локальными LLM, главная боль была не в установке моделей, а в понимании, что вообще влезет в моё железо. Документация Hug…
Ollama 0.23: Claude Desktop теперь запускается из терминала. Без бубна
Заголовок звучит как что-то из разряда «хакерских трюков», но на деле это официальный релиз. 3 мая 2026 года (в мой день рождения) разработчики Olla…
Токенная разработка: почему я плачу $200 в месяц, а не $800 за устаревшее железо
$800 на видеокарту которая устареет через год или $200/мес с доступом к frontier-моделям? Вот мои цифры Читать далее