RU

Сканер prompt injection без PyTorch: как я продолжил заархивированный LLM Guard и научил его находить СНИЛС

Если ваш сервис отправляет текст пользователя в языковую модель, между ними почти наверняка нужен фильтр. На входе он ловит prompt injection («забуд…

llmprompt injectionllm guardonnxперсональные данные152-фзpresidiotransformerspythononnx runtime
Habr
RU

Я просил ход, который сделал бы человек. Stockfish ответил правильным

С лета у меня в браузере рядом с доской работает локальный Stockfish и подсказывает стрелкой на лучшем ходу. Люди, которые начали пользоваться, выра…

шахматыstockfishmaiaonnxмодель человекавероятности ходов
Habr
RU

Локальный ассистент для зумов, часть 3: кто это говорит — и почему я трижды ошибся, отвечая на этот вопрос

Обещал в прошлой части честный замер локальных моделей распознавания — выполнял целый день, и результат вышел самым обидным: менять нечего. А три де…

диаризацияэмбеддинги диктораsherpa-onnxspeech-to-textлокальные llmассистент встречonnxметодика замеровбенчмаркиприватность
Habr
RU

В 14 раз быстрее: как мы ускорили генерацию эмбеддингов в Manticore через ONNX

Когда мы выпустили  Auto Embeddings  — функцию автоматического преобразования текстов в векторные представления — без развёртывания отдель…

onnxonnx runtimeonnxruntimeembeddingsэмбеддингиинференсвекторный поискvector search
Habr
RU

Трансформер в on-premise AppSec: как мы встроили ML-модель для классификации секретов в продукт без GPU

Рассказываем, как мы интегрировали CodeBERT-based модель классификации секретов в production-продукт с жёсткими ограничениями по железу, сократив вр…

appseconnxmlopsopensourceоптимизацияcodescoringml
Habr