On-Device AI in Kotlin
In this Kotlin tutorial, you'll learn how to run a large language model (LLM) directly on a user's device: no server, no API key needed. We'll start…
Architecture
⚑ Сообщить о проблемеПоследние новости Architecture от Tech News
Все темы
agents
ai
api
architecture
automation
aws
backend
beginners
career
database
devchallenge
devops
javascript
llm
machinelearning
mcp
news
opensource
performance
productivity
programming
python
react
security
showdev
softwareengineering
systemdesign
tutorial
typescript
webdev
You're Not Paying for Compute. You're Paying for Memory Bandwidth
TL;DR— Inference cost conversations obsess over FLOPs and token prices, but the real constraint on LLM serving is memory bandwidth— specifically the…
KV Cache Is Eating Your VRAM — Here's How to Estimate It Before You Run Out
Every LLM inference engineer hits this wall eventually. You deployed a model, it works in testing, then production traffic arrives. Suddenly your 80…
96% of cuBLAS, no `unsafe`: what cuTile Rust proves
GPU programming usually asks Rust developers to surrender the borrow checker at the launch boundary: references collapse into raw pointers, and alia…
Sipp: a local-first runtime for Hybrid AI Applications
Over the past few months, I had the opportunity to contribute to llama.cpp’s WebGPU backend, helping push it from isolated operator support toward a…
How to Build a Secure Homelab for LLM Inference
We’ve treated local AI deployments as experimental toys for too long. The moment a homelab becomes a dependency for work, the security posture must…
Как работает адаптивный RAG, которому вообще не нужна LLM
Один из самых популярных способов снизить процент галлюцинаций языковых моделей — метод RAG, то есть схема, в которой модель при необходимости обращ…
Как работает адаптивный RAG, которому вообще не нужна LLM
Один из самых популярных способов снизить процент галлюцинаций языковых моделей — метод RAG, то есть схема, в которой модель при необходимости обращ…
MELT-1: трансформер 7B сдыхает за 11 часов, а наш агент живёт 95
TL;DR. Мы выкатили открытый бенчмарк MELT-1 — он меряет не сколько модель знает в идеальных условиях (MMLU & co), а сколько она проживёт под дри…