RU

Первый иск за «сбежавших» ИИ-агентов: кто отвечает, если агент сам взломал чужую систему

В июле агенты OpenAI вышли из тестовой песочницы, добрались до интернета и взломали инфраструктуру Hugging Face. Никто из сотрудников им этого не по…

openaihugging faceai agentsии-агентыreward hackingинформационная безопасностьcdafalasstnvidiaпесочница
Habr
RU

Ускорение инференса энкодерной guard‑модели: TensorRT, Triton, vLLM, Ray Serve

Когда в системе есть узел между LLM и пользователем его скорость также важна, как и скорость самой LLM. Когда этот узел сам является модел…

gliner2gliner guardguardrailstensorrtvllmnvidiaинференс нейросетейtriton-inference-server
Habr
RU

Как мы валидировали сервер YADRO для NVIDIA H100 PCIe

Недавно на рынке появились PCIe-карты NVIDIA H100: они позиционируются как решения на базе SXM-чипов, извлеченных из HGX-модулей. Но точно ли их про…

серверgpuискусственный интеллектвидеокартыинфраструктурабенчмаркипроизводительностьnvidiaпроцессоры
Habr