Train и eval в ARC-AGI-2 — это разные распределения
Если вы замеряете прогресс своего солвера на случайной подвыборке из train, вы замеряете его не на том наборе. Медианная задача train занимает 100 к…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- игры
AI
Gear
News
Tech
agents
ai
api
architecture
automation
beginners
career
database
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
Бенчмарки AGI никогда не будут объективными
Тест Тьюринга явно устарел, сейчас пытаются придумать новые тесты на сильный ИИ . Но как оценить интеллект модели, если учёные сильно расходятся в о…