RU

Guardrails для LLM: как устроена защита языковых моделей

Привет, Хабр! Я Антон, инженер  по информационной безопасности в Selectel . Представьте новость: защиту GPT-6 Astra обошли обычным транслитом.…

selectelllm-моделинейросетиии-системаchatgptguardrailswafполитика безопасностиинфраструктураугрозы
Habr
RU

Как мы обучили детектор джейлбрейков для русскоязычных AI-агентов

Привет, Хабр! На связи команда R&D в Just AI, мы занимаемся исследованиями в области NLP и GenAI, чтобы продукты компании держали статус SOTA на…

джейлбрейкprompt injectionguardrailsllmnlpбезопасность llmai-агентыбольшие языковые моделидатасетанонимизация данных
Habr
RU

ИИ-агент как цифровой сотрудник: где возникают риски и как их ограничить

ИИ-ассистенты все чаще действуют от имени пользователя: работают с почтой, CRM, документами и API. Фактически это новый тип цифрового сотрудника с д…

prompt injectionLLM securityguardrailsOWASPMITRE ATLASred teamingагентные системыии агенты
Habr
RU

GuardRate: метрики, бенчмарки и инсайты из первого аудита (часть 2)

В первой части мы верхнеуровнево рассмотрели результаты оценки 37 моделей, обсудили проблему оценки и сравнения guardrail моделей, рассказали, как л…

open-sourceleaderboardbenchmarkingevaluationllmguardrail metricsai safetyguardrailsprompt-injectionguardrail areana
Habr
RU

GuardRate: метрики, бенчмарки и инсайты из первого аудита (часть 2)

В первой части мы верхнеуровнево рассмотрели результаты оценки 37 моделей, обсудили проблему оценки и сравнения guardrail моделей, рассказали, как л…

open-sourceleaderboardbenchmarkingevaluationllmguardrail metricsai safetyguardrailsprompt-injectionguardrail areana
Habr
RU

Как мы построили multilabel guardrail-классификатор и как мы сделали его в 3 раза быстрее и дешевле

Привет, дорогой читатель! Мы не будем переворачивать календарь, а лучше расскажем, как построили систему, которая ловит небезопасный контент автомат…

информационная безопасностьииии-агентыгардрейлguardrailsmlbert
Habr
RU

[Перевод] Больше свободы агентам — жёстче проверки: линтинг React 19 на ESLint 10

Чем больше автономии я даю ИИ-агентам, тем больше требований к коду превращаю в механические проверки. Когда eslint-plugin-react сломался на ESLint…

ESLint 10React 19eslint-plugin-reactBiomeлинтингстатический анализИИ-агентыguardrailspre-commitopen source
Habr
RU

GuardRate: как мы построили независимую арену для guardrail-моделей (часть 1)

Всем привет, на связи команда  HiveTrace! Мы уделяем много времени разработке собственных моделей и часто задаемся вопросом: "какой из двух гар…

llmguardrailsguardrail metricsleaderboardevaluationguardrail areanaai safetyprompt-injectionbenchmarkingopen-source
Habr
RU

Ускорение инференса энкодерной guard‑модели: TensorRT, Triton, vLLM, Ray Serve

Когда в системе есть узел между LLM и пользователем его скорость также важна, как и скорость самой LLM. Когда этот узел сам является модел…

gliner2gliner guardguardrailstensorrtvllmnvidiaинференс нейросетейtriton-inference-server
Habr
RU

Теперь вы можете защититься от утечки данных при работе с любыми языковыми моделями

Пару дней назад Cloud.ru выложил исходный код Guardrails Filter в открытый доступ. Это прозрачный обратный прокси между клиентом и LLM-провайдерами,…

guardrailsмаскирование данныхпдн152-фзgogolangутечки данныхllm-модели
Habr
RU

GLiNER Guard (GLiGuard): один schema-driven энкодер вместо зоопарка LLM-гардрейлов

Деплоите LLM? Значит, обвешиваете её гардами. Сначала safety, потом PII, потом prompt injection, потом toxic BERT - и в один прекрасный день обнаруж…

GLiNER GuardGLiGuardGLiNER 2guardrailsPIIzero-shotбезопасность LLMобработка ПДмодерацияschema-driven
Habr
RU

AI Governance по‑инженерному: что должен знать архитектор

Представьте: вы запускаете генеративную AI‑фичу в проде. Всё работает как часы. А через месяц получаете иск, потому что ваша мод…

AI Governanceуправление ИИбезопасность AI-системLLMархитектура AI-продуктаModel Risk Managementgovernance-as-codeexplainabilityguardrailsриски ИИ
Habr