A UMAP With Arrows Is Not a Benchmark. This Is
How I built a three-task evaluation framework for RNA velocity trajectory inference -- measuring global ordering, pairwise rank preservation, and robu…
Testing & QA
⚑ Report a ProblemLatest Testing & QA news from Tech News
All topics
agents
ai
api
architecture
automation
aws
beginners
career
claude
cybersecurity
database
devchallenge
devops
discuss
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
security
showdev
softwareengineering
testing
tutorial
typescript
webdev
Engineering CellFateBench: A Reproducible Python Benchmark for Single-Cell Genomics Reasoning
CellFateBench is a scientific software and benchmark-engineering project for evaluating reasoning over single-cell genomics workflows. The project was…
Иллюзия 99% F1 в Time Series: как искажаются метрики в детекции аномалий и что показывает реальный тест 14 архитектур
Многие свежие SOTA-статьи по детекции аномалий во временных рядах заявляют F1 ≈ 99%. Мы проверили один из таких методов, и оказалось, что волшебство и…
Локальный запуск openai/gpt-oss-20b MXFP4 GGUF на ноутбуке без дискретной видеокарты: практический тест на 32 GB RAM
Запустил openai/gpt-oss-20b в варианте MXFP4 GGUF на обычном ноутбуке без дискретной видеокарты: только CPU, встроенная Radeon 780M и общая оперативна…
Поиск черной кошки в 2000-мерной темной комнате. Турнир алгоритмов машинного обучения
Добро пожаловать на мой маленький тестовый полигон. В этой статье я расскажу, как столкнул лбами двадцать один алгоритм машинного обучения - от старой…
Ideogram 4.0 is Good. Just Good.
A blind test across 240 images and 10 professional designers just dropped. Ideogram 4.0 against Gemini 3.1, Grok Imagine, and FLUX.2 Max. The results …
How fast is LlamaStash? Overhead, throughput, and a fair comparison with Ollama and LM Studio
Originally published at deepu.tech . In my release post for LlamaStash I made a claim I need to back up. The wrapper adds zero overhead vs running lla…
Как тестируют кодинг-агентов в 2026 — и почему вашему продакшну нужен свой бенчмарк
Ни для кого не секрет, что эра «спросить что-то у GPT» постепенно уходит в прошлое. На смену генеративному AI приходит Agentic AI, который не просто п…
Benchmarking the Claude Agent SDK on a local LLM: Haiku and Sonnet tier performance
The Claude Agent SDK exposes three budget tiers ( haiku , sonnet , opus ) and reads its routing target from environment variables on every call. That …
I Benchmarked 17 ESLint Security Plugins. Only One Found Every Vulnerability.
Skip to: Full Results | Category Breakdown | The Leaderboard | Methodology TL;DR I built a benchmark suite with 40 vulnerable code patterns across 14 …
Multi-Shot vs Zero-Shot: When Adding Examples Actually Hurts Accuracy
Book: Prompt Engineering Pocket Guide: Techniques for Getting the Most from LLMs Also by me: Thinking in Go (2-book series) — Complete Guide to Go Pro…
LMR-BENCH: Can LLM Agents Reproduce NLP Research Code? (EMNLP 2025)
A research team from the University of Texas at Dallas published LMR-BENCH at EMNLP 2025, asking a specific question: can LLM agents reproduce the cor…
AI-generated accessibility, an update — frontier models still fail, but skills change the game
A few months ago I shared early results from the A11y LLM Eval project, a benchmark that measures how accessibly LLMs generate UI code. The previous p…
AI-агент действительно ловит баги? Пусть докажет на бенчмарке
Привет! Это снова Михаил Федоров. В первой статье — архитектура QA Assist: 11 AI-агентов от декомпозиции требований до готовых автотестов. Во второй —…
Model Showdown Round 3: Ditching Ollama in Favor of llama.cpp
In Round 1 , we ran five local models and two cloud models through a single coding task. The local models held their own. In Round 2 , we added Gemma …
Benchmark: Discord 20 Loads 30% Faster Than Microsoft Teams 5 on Chrome 130
Benchmark: Discord 20 Loads 30% Faster Than Microsoft Teams 5 on Chrome 130 By TechBench Team | October 2024 Executive Summary Independent performance…
Benchmark: JetBrains DataGrip 2026 vs. DBeaver 24.0: Query Execution Speed for PostgreSQL 17
DataGrip 2026 vs DBeaver 24.0: PostgreSQL 17 Query Execution Speed Benchmark Database administrators and developers often rely on GUI clients to inter…