Серверы Lenovo AI впервые реализуют локальное развертывание DeepSeek Full Blood Big Model менее чем 1TB, поддерживают 100 параллельных запросов

Данные Jinshi 3 марта сообщили, что недавно концерн Lenovo объявил о том, что на сервере Lenovo Wentian WA7780 G3 впервые в отрасли была реализована одноплатная установка глубокой модели DeepSeek-R1/V3 671B с использованием памяти, меньшей, чем 1TGB (фактически 768GB), чтобы обеспечить плавный опыт для 100 одновременных пользователей. По данным Lenovo, в стандартной тестовой среде с 512 токенами этот система может поддерживать стабильный вывод 10 токенов в секунду для 100 одновременных пользователей, сокращая время отклика на первый токен до менее 30 секунд.