RU

Полтора года и 100 миллиардов токенов спустя

Всем привет! Меня зовут Евгений, я работаю разработчиком в Университете Кембриджа. Почти полтора года назад я запустил llm7.io — изначально полность…

llminferencefreeвысоконагруженные системыpythonpet-проектыpet-projectrate-limitabusefilters
Habr
RU

Как я довёл расходы на LLM до нуля: почему на бесплатных тарифах параллелизм — враг

Это продолжение первой статьи про Briefka — там я описывал самого бота и базовую архитектуру каскада LLM-провайдеров. За прошедшие 4 месяца бот орга…

llmrate-limitasynciotelegram-botgroqdeepseekfallbackcircuit breaker