RU

Сканер prompt injection без PyTorch: как я продолжил заархивированный LLM Guard и научил его находить СНИЛС

Если ваш сервис отправляет текст пользователя в языковую модель, между ними почти наверняка нужен фильтр. На входе он ловит prompt injection («забуд…

llmprompt injectionllm guardonnxперсональные данные152-фзpresidiotransformerspythononnx runtime
Habr
RU

В 14 раз быстрее: как мы ускорили генерацию эмбеддингов в Manticore через ONNX

Когда мы выпустили  Auto Embeddings  — функцию автоматического преобразования текстов в векторные представления — без развёртывания отдель…

onnxonnx runtimeonnxruntimeembeddingsэмбеддингиинференсвекторный поискvector search