RU

Capacitor: от веба к мобильным приложениям. Часть 4. Интегрируем локальный LLM в проект

В этой уже 5 по счету статье мы поговорим про актуальность локального AI в мобильных приложениях а также займемся интеграцией плагина для локальных LL…

capacitorмобильные приложениягибридные приложенияtypescriptjavascriptiosandroidaillmлокальный ии
Habr
RU

DGX Spark на 256K контексте: тестирую конфигурации vLLM, реальные замеры и почему NVFP4 в mainline сломан

NVIDIA продаёт спарку с лозунгом «один петафлоп на FP4». Я купил коробку, поставил vLLM, запустил инференс и получил 40 токенов в …

vllmdgx sparkgb10blackwellnvfp4llmинференслокальный ии
Habr
RU

Кириллица в LLM: почему русский язык в нейросетях стоит дороже и работает медленнее

Когда вы пишете запрос в ChatGPT или другую нейросеть, она не работает с буквами или словами — она режет ваш текст на&nb…

llmтокенизациянейросетилокальный ииself-hostedкириллицаqwengigachatllamayandexgpt