Máy chủ AI của Lenovo lần đầu tiên triển khai cục bộ, DeepSeek toàn mô hình dưới 1TB, hỗ trợ 100 đồng thời

Dữ liệu Kim Tứ ngày 3 tháng 3, Lenovo Group mới đây đã thông báo rằng dựa trên máy chủ Lenovo Hỏi Thiên WA7780 G3, họ đã thành công triển khai mô hình lớn DeepSeek-R1/V3 671B trên một máy duy nhất lần đầu tiên trong ngành, với dung lượng VRAM thấp hơn so với 1TGB được công nhận trong ngành (thực tế là 768GB), mang lại trải nghiệm mượt mà cho 100 người dùng song song. Theo dữ liệu thử nghiệm thực tế của Lenovo, trong môi trường thử nghiệm chuẩn 512 token, hệ thống này có thể hỗ trợ 100 người dùng song song liên tục nhận được đầu ra ổn định 10 token mỗi giây, với thời gian phản hồi token đầu tiên được nén xuống dưới 30 giây.

Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • 1
  • Chia sẻ
Bình luận
0/400
Andruchovip
· 03-03 05:30
tác giả tuyệt vời!!!
Xem bản gốcTrả lời0
  • Ghim
Giao dịch tiền điện tử mọi lúc mọi nơi
qrCode
Quét để tải xuống ứng dụng Gate
Cộng đồng
Tiếng Việt
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)