Mamba: архитектура, которая шла убивать трансформеры
В декабре 2023 по ML-тусовке прокатилась волна заголовков в духе «трансформерам конец». Поводом стала статья двух исследователей — Альберта Гу и Три…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- игры
AI
Gear
News
Tech
agents
ai
api
architecture
automation
beginners
career
database
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
DeepSeek's new open models give everyone a million-word memory by default
DeepSeek has previewed its V4 model family, led by a 1.6 trillion-parameter flagship, and made a one-million-token context window the default across…
A Classic Efficiency Trick Just Moved Into a New Part of the AI
The paper Grouped Query Experts shows that a mixture-of-experts routing strategy applied to the attention layer of a language model matches standard…
Как мы ускоряли диффузионный декодер TTS
В пайплайне перевода видео в Яндекс Браузере скорость работы в синтезе речи долго оставалась узким местом: одно видео — это сотн…
Что происходит внутри LLM, когда ты отправляешь сообщение
Каждый день миллионы людей разговаривают с системой, про которую не могут ответить на простой вопрос: а что она вообще делает, когда отвечает? Не в…
Одна строка — много объектов: как агрегировать эмбеддинги для ML-моделей
Иногда одна строка датасета соответствует не одному объекту, а целому набору связанных объектов: новостям, комментариям, изображениям или&…