ИИ-модуль LLM
Разработка
ID
KFQG-CIY2
Пользователь
Категория
B - различные технологические процессы; транспортирование
Опубликован
23.01.2025 13:30
Описание
Экосистема для быстрого прототипирования и управления LLM-сервисами. Экосистема позволяет упрощенно разворачивать LLM-сервисы, динамически распределять вычислительные ресурсы GPU в зависимости от нагрузки на сервисы, а также восстанавливать запросы к сервисам при их сбое. В отличие от аналогичных существующих систем, при изменении нагрузки на системы не происходит обычного выключения подов с недог
ruzhennimi modelyami i vklyuchenie podov s peregruzhennimi modelyami. Vmesto etogo, planirovshtik ekosistemi derzhit vnutri podov po neskolyko modeley i upravlyaet kolichestvom videlennih resursov na kazhduyu iz nih v tekushtiy moment, chto pozvolyaet effektivnee rashodovaty resursi videokart.
ruzhennimi modelyami i vklyuchenie podov s peregruzhennimi modelyami. Vmesto etogo, planirovshtik ekosistemi derzhit vnutri podov po neskolyko modeley i upravlyaet kolichestvom videlennih resursov na kazhduyu iz nih v tekushtiy moment, chto pozvolyaet effektivnee rashodovaty resursi videokart.