RU

Сканер prompt injection без PyTorch: как я продолжил заархивированный LLM Guard и научил его находить СНИЛС

Если ваш сервис отправляет текст пользователя в языковую модель, между ними почти наверняка нужен фильтр. На входе он ловит prompt injection («забуд…

llmprompt injectionllm guardonnxперсональные данные152-фзpresidiotransformerspythononnx runtime
Habr
RU

В 14 раз быстрее: как мы ускорили генерацию эмбеддингов в Manticore через ONNX

Когда мы выпустили  Auto Embeddings  — функцию автоматического преобразования текстов в векторные представления — без развёртывания отдель…

onnxonnx runtimeonnxruntimeembeddingsэмбеддингиинференсвекторный поискvector search
Habr
RU

Трансформер в on-premise AppSec: как мы встроили ML-модель для классификации секретов в продукт без GPU

Рассказываем, как мы интегрировали CodeBERT-based модель классификации секретов в production-продукт с жёсткими ограничениями по железу, сократив вр…

appseconnxmlopsopensourceоптимизацияcodescoringml
Habr