RU

ИИ-агент как цифровой сотрудник: где возникают риски и как их ограничить

ИИ-ассистенты все чаще действуют от имени пользователя: работают с почтой, CRM, документами и API. Фактически это новый тип цифрового сотрудника с д…

prompt injectionLLM securityguardrailsOWASPMITRE ATLASred teamingагентные системыии агенты
Habr
RU

GuardRate: метрики, бенчмарки и инсайты из первого аудита (часть 2)

В первой части мы верхнеуровнево рассмотрели результаты оценки 37 моделей, обсудили проблему оценки и сравнения guardrail моделей, рассказали, как л…

open-sourceleaderboardbenchmarkingevaluationllmguardrail metricsai safetyguardrailsprompt-injectionguardrail areana
Habr
RU

GuardRate: метрики, бенчмарки и инсайты из первого аудита (часть 2)

В первой части мы верхнеуровнево рассмотрели результаты оценки 37 моделей, обсудили проблему оценки и сравнения guardrail моделей, рассказали, как л…

open-sourceleaderboardbenchmarkingevaluationllmguardrail metricsai safetyguardrailsprompt-injectionguardrail areana
Habr
RU

GuardRate: как мы построили независимую арену для guardrail-моделей (часть 1)

Всем привет, на связи команда  HiveTrace! Мы уделяем много времени разработке собственных моделей и часто задаемся вопросом: "какой из двух гар…

llmguardrailsguardrail metricsleaderboardevaluationguardrail areanaai safetyprompt-injectionbenchmarkingopen-source
Habr
RU

Ускорение инференса энкодерной guard‑модели: TensorRT, Triton, vLLM, Ray Serve

Когда в системе есть узел между LLM и пользователем его скорость также важна, как и скорость самой LLM. Когда этот узел сам является модел…

gliner2gliner guardguardrailstensorrtvllmnvidiaинференс нейросетейtriton-inference-server
Habr
RU

Теперь вы можете защититься от утечки данных при работе с любыми языковыми моделями

Пару дней назад Cloud.ru выложил исходный код Guardrails Filter в открытый доступ. Это прозрачный обратный прокси между клиентом и LLM-провайдерами,…

guardrailsмаскирование данныхпдн152-фзgogolangутечки данныхllm-модели
Habr
RU

AI Governance по‑инженерному: что должен знать архитектор

Представьте: вы запускаете генеративную AI‑фичу в проде. Всё работает как часы. А через месяц получаете иск, потому что ваша мод…

AI Governanceуправление ИИбезопасность AI-системLLMархитектура AI-продуктаModel Risk Managementgovernance-as-codeexplainabilityguardrailsриски ИИ
Habr