Три Language modeling архитектуры — три пространства
Какой кодер, такой и result, друзья. При проектировании эксперимента мы тестируем разные архитектуры. В прикладном применении нам важен выход и побо…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- игры
AI
Gear
News
Tech
agents
ai
api
architecture
automation
beginners
career
database
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
Как модели упаковывают концепты в многообразия: смотрим на теорию, рушим идеальный мир и ищем кружочки
Mechanistic claims в interpretability для бедных, но бравых. Шучу, конечно. Просто когда дело дошло до задачи "придумать название" — вспомнила шутки…
Можно ли пересадить алгоритм из маленькой модели в LLM? Эксперимент с grokking, residual stream и линейной проекцией
Можно ли взять алгоритм из маленькой нейросети и «вставить» его в большую языковую модель на лету, без дообучения? Мы проверили эту гипотезу на моду…
П維чему нейро考ети дел思ют так
Если вы хоть раз тестировали локальную модель (да и нелокальную тоже) и замечали, как она посреди нормального текста вдруг выдает иероглиф, то загол…
Метрика EICS — ищем у трансформера причинное место
У больших языковых моделей есть неприятное свойство: снаружи ответ может выглядеть одинаково уверенно и тогда, когда модель действительно «собрала»…