Механизмы внимания в современных LLM
Почему современные LLM больше не используют один «обычный» Attention? Разбираем эволюцию механизмов внимания: MHA, GQA, MLA, local и sparse att…
Последние новости Web от Tech News
Почему современные LLM больше не используют один «обычный» Attention? Разбираем эволюцию механизмов внимания: MHA, GQA, MLA, local и sparse att…
DeepSeek выпустил свой агентный харнесс отдельным приложением: установщик для Windows и macOS, без Node.js и терминала. Разбираю по документации и ж…
Полгода назад мне понадобился личный AI помощник ( знаю...звучит слишком пафосно и мне самому это словосочетание не нравится ) для р…
Вчера SpaceXAI выложила Grok 4.7 . За три недели до этого OpenAI выпустила GPT-6 Astra , Anthropic — Claude Fable 5.1 . Ещё в&nb…
У DeepSeek появился свой агентный харнесс — dsh. Разбираю, как перенести на него SEO-набор: серверы с данными, правила работы и страховку от ошибок…
Статья посвящена статистическому анализу интереса к искусственному интеллекту в России в 2022–2026 гг. Интерес рассматривается как многомерное явлен…
В статье рассказываю о личном опыте запуска современных LLM на домашнем ПК, сравниваю модели, кванты и движки, показываю результаты п…
Представляю вашему вниманию довольно необычный эксперимент: объединение четырех компьютеров Mac Studio в единый кластер с 1,5 ТБ общей памяти с помо…
Я хотел получить локального AI-агента без отдельного API для каждой модели — и превратил браузерные сессии DeepSeek, Qwen и ChatGPT в единый транспо…
Это подробный разбор одного эксперимента. Я взял god node из реального LangGraph агента и попросил 5 американских и 6 китайских моделей сначала пред…
Несколько дней назад я сделал маленький инструмент для себя. Надоело каждый раз начинать новый проект с колеса оттенков: крутишь Coolors, листаешь P…
Как-то вечером я поймал себя на том, что трачу по 20 минут на поиск цветовой палитры для каждого нового проекта. Coolors, Adobe Color, случайные пин…
Большинство трейдеров управляют рисками интуитивно. «Войду на 20% депозита, стоп поставлю пониже» — и пошёл. Исследование 500+ активных криптотрейде…
За attention-механизм с 2017 года брались сотни раз: sparse attention, linear attention, MoE, MLA, скользящие окна, что только не. А вот residual co…
Скажите роботу «настрой манипулятор» — и он напишет драйвер сам. Звучит как фантастика из тех самых фильмов 80-х и 90-х, но мы уже реализовали это в…