RU

GuardRate: как мы построили независимую арену для guardrail-моделей (часть 1)

Всем привет, на связи команда  HiveTrace! Мы уделяем много времени разработке собственных моделей и часто задаемся вопросом: "какой из двух гар…

llmguardrailsguardrail metricsleaderboardevaluationguardrail areanaai safetyprompt-injectionbenchmarkingopen-source
Habr
RU

Ускорение инференса энкодерной guard‑модели: TensorRT, Triton, vLLM, Ray Serve

Когда в системе есть узел между LLM и пользователем его скорость также важна, как и скорость самой LLM. Когда этот узел сам является модел…

gliner2gliner guardguardrailstensorrtvllmnvidiaинференс нейросетейtriton-inference-server
Habr