RU

Собираем домашний сервер для локальных LLM на доступных GPU (NVIDIA CMP 50HX)

Привет! Меня зовут Александр Щербаков, я DevOps-инженер в X5 Tech. В одной из прошлых статей я рассказывал о домашних серверах на потребительском же…

proxmoxllm-моделиinferencegpudevopscmp 50hxlinuxдомашний серверинференсвидеопамять
Habr
RU

Нафиг NVIDIA! Я запустил Qwen на FPGA за $50 — а свой TPU назвал бы «КЕДР». Часть 1

Я хотел разработать собственный AI-процессор , нашёл openTPU , купил FPGA за $50 с 4ГБ памяти, подключил её к обычному мини-ПК и запустил на ней язы…

fpgakintex-7opentpullmлокальные llmqwenинференсai-ускорительopen source
Habr
RU

[Перевод] Ваша платформа Kubernetes готова к контейнерам. Готова ли она к ИИ?

Kubernetes дал платформенным командам единообразный способ развёртывать, масштабировать и эксплуатировать контейнеризированные приложения. Теперь мн…

vk cloudKubernetesИИ-нагрузкиплатформенная инженерияGPUгетерогенные вычисленияGitOpsCI CDobservabilityинференс
Habr
RU

False positive под небом цвета телевизора, настроенного на мертвый канал

В «Ростелекоме», как в любом крупном корпоративном контуре, SAST-поток исчисляется тысячами срабатываний. Ручной триаж перестает быть инженерной раб…

llm-моделиllmинформационная безопасностьинференсинференс моделейsastqwentriage
Habr
RU

В 14 раз быстрее: как мы ускорили генерацию эмбеддингов в Manticore через ONNX

Когда мы выпустили  Auto Embeddings  — функцию автоматического преобразования текстов в векторные представления — без развёртывания отдель…

onnxonnx runtimeonnxruntimeembeddingsэмбеддингиинференсвекторный поискvector search