Один SSE для четырёх LLM: стриминг OpenAI, Anthropic, DeepSeek и Kimi через один бэкенд
Мы делаем чат-агрегатор, где в одном окне доступны GPT, Claude, Kimi и DeepSeek. Фронтенду нужно отдавать ответ в реальном времени — токен за токеном,…
Latest AI & ML news from Tech News
Мы делаем чат-агрегатор, где в одном окне доступны GPT, Claude, Kimi и DeepSeek. Фронтенду нужно отдавать ответ в реальном времени — токен за токеном,…
Помните, как в детстве казалось, что будущее - это летающие скейтборды из «Назад в будущее 2» и роботы-помощники? Ховерборд, может, еще и не появился,…
Это первая из двух статей про построение AI-агента внутри Джеймикс-приложения. Джеймикс (или Jmix , ex. CUBA ) - высокоуровневый фреймворк для разрабо…
лимиты и границы задач Сначала короткий вывод: Claude Fable 5 выглядит как одна из самых сильных универсальных моделей Anthropic на текущий момент, но…
Когда я начал активно использовать ИИ-агентов для разработки, у меня быстро появилось странное ощущение - c одной стороны, это действительно впечатляе…
Последние пару лет, кажется, невозможно поговорить об AI в разработке, чтобы разговор не упирался в тему производительности. Отовсюду постоянно вылеза…
В течение последнего года мы запустили несколько продуктов с LLM-решениями на борту. При этом, несмотря на различия в моделях и масштабе, у них, у все…
Когда компания выпускает продукт, всё просто: построил — продал. Вышел новый айфон — он лежит на полке. Появилась нейросеть — вот вам API, пользуйтесь…
Последние годы развитие LLM шло по пути экстенсивного масштабирования: считалось, что чем больше весов и данных, тем умнее модель. В индустрии даже сл…
Справочники МТР на крупных предприятиях ‒ это десятки тысяч строк вида «Кабель ВВГнг 3х2.5 кв.мм, серая изоляция, 100м» , которые нужно разложить по а…
Локально запустить LLM сегодня можно за десять минут — например, с помощью LM Studio. Но как только модели нужно дать доступ команде, подключить RAG и…
Сколько не оптимизируй бизнес-процессы, в них всегда остается какое-то узкое место, которое может застопорить всю работу. Знакомая ситуация? Но самое …
Привет, я Максим, лидер AI-powered разработки. В 2024 году я пришёл в банк руководителем проектов, потом занимался партнёрскими интеграциями, а теперь…
Обзор серверного ускорителя NVIDIA Tesla V100 16 Gb в корпусе от RTX 4090: Часть 3 - Запуск локальных моделей ИИ Читать далее
Представьте семинар у физиков или математиков. Идёт автоматическая запись лекции, а затем распознавание речи в аккуратный текст. В большинстве мест со…
В первой части мы говорили про оргмодель — зачем она вообще нужна и какая от нее польза. Во второй части говорили о процессах — чего не хватает в типо…
Google полностью обновила сайт и приложение Gemini. Появился выбор уровня мышления, новый дизайн и модель Flash Lite. Однако у пользователей забрали T…
Привет, дорогой читатель! Меня зовут Дмитрий, и я более 12 лет занимаюсь веб-разработкой. Так уж получилось, что за это время у меня набралась база кл…
Прошло несколько лет с тех пор, как нейросетевые модели стали применимы в генерации текста. Сегодня языковые модели уверенно решают задачи написания к…
Это конспект вебинара. Спикер — Даниил Степанов, разработчик-исследователь Veai, преподаватель ИТМО, ранее работал в Jet…
Что будем делать или что может быть интересного в статье: - Пайплайн из двух независимых LLM агентов - Запуск и анализ ошибки UI автотеста (Root Cause…
Привет, меня зовут Вячеслав. Я интересуюсь локальными LLM и тем, как они ведут себя в реальных задачах — не на синтетических …
Привет, друзья! Я, похоже, наконец пережила кризис пришествия агентов в нашу жизнь. Мне всегда безумно нравился процесс решения задач — этакий ли…
В век, когда абсолютно все площадки, включая Хабр, захлебываются под цунами сгенерированного контента, особенно ценными становятся статьи, написанные …
В статье мы расскажем, как команда разработчиков Doubletapp разработала систему оценки открытых моделей для создания саммари, поделимся метриками, кот…
Ryzen AI 9 HX 370 - это чип с NPU на 50 TOPS и Ollama его не видит - из-за своей архитектуры. Собственно, сама Ollama работает поверх llama.cpp, llama…
Всем привет, на фоне обновлений в LLM-стеке за последний год, решил собрать практический список RAG-подходов, которые реально используются в продакшен…