Khả năng tính toán thiếu hụt: Những khó khăn và đối phó trong việc huấn luyện mô hình lớn

Mô hình lớn đang được đào tạo rất sôi nổi, nhưng sự thiếu hụt GPU cao cấp đã trở thành một thách thức lớn mà ngành công nghiệp phải đối mặt. Mặc dù giá cả liên tục tăng cao, một GPU hàng đầu có giá thuê hàng tháng đã lên tới 50-70 triệu, nhưng vẫn rất khó để có được. Tình trạng cung không đủ cầu này khó có thể được cải thiện trong thời gian ngắn, các doanh nghiệp lớn đều đang tính toán xem họ có bao nhiêu "hàng" trong tay.

Tuy nhiên, ngưỡng để đào tạo mô hình lớn không chỉ đơn giản là có được GPU. Lấy một mô hình thời tiết lớn làm ví dụ, chi phí đào tạo của nó đã vượt quá 2 triệu nhân dân tệ. Đối với mô hình lớn chung, sẽ rất khó để tiếp tục mà không có hàng tỷ tài chính đầu tư. Một số doanh nhân mô tả cuộc cạnh tranh trong lĩnh vực mô hình lớn hiện nay giống như đang "đốt tiền", nếu không có sự hỗ trợ tài chính vững mạnh, sẽ rất khó để tiếp tục.

Đối mặt với tình huống khó khăn này, các doanh nghiệp cũng đang tích cực tìm kiếm các biện pháp đối phó. Một số phương pháp bao gồm: sử dụng dữ liệu chất lượng cao hơn để nâng cao hiệu quả đào tạo; nâng cao khả năng hạ tầng, đạt được hoạt động ổn định trong thời gian dài; tối ưu hóa khả năng tính toán tài nguyên, tăng cường tỷ lệ sử dụng; áp dụng kiến trúc siêu máy tính thay thế cho kiến trúc điện toán đám mây. Ngoài ra, một số doanh nghiệp chọn sử dụng nền tảng nội địa để đào tạo và suy luận mô hình lớn, nhằm thay thế cho GPU nhập khẩu đang khan hiếm.

Trên thực tế, khả năng tính toán đã trở thành một mô hình dịch vụ mới. Dịch vụ khả năng tính toán dựa trên khả năng tính toán đa dạng, thông qua kết nối mạng khả năng tính toán, với mục tiêu cung cấp khả năng tính toán hiệu quả. Nó không chỉ bao gồm khả năng tính toán, mà còn bao phủ việc đóng gói thống nhất các tài nguyên như lưu trữ, mạng, v.v. Trong chuỗi công nghiệp này, các doanh nghiệp thượng nguồn cung cấp tài nguyên khả năng tính toán cơ bản, các doanh nghiệp trung nguồn chịu trách nhiệm sản xuất và cung cấp khả năng tính toán, trong khi các doanh nghiệp hạ nguồn dựa vào dịch vụ khả năng tính toán để gia tăng giá trị.

Với việc nhu cầu tính toán hiệu suất cao của mô hình lớn trở thành điều bình thường, dịch vụ khả năng tính toán đang nhanh chóng phát triển thành một chuỗi ngành nghề và mô hình kinh doanh độc đáo. Mặc dù hiện tại vẫn còn vấn đề thiếu hụt GPU cao cấp và chi phí cao, nhưng về lâu dài, việc dịch vụ hóa khả năng tính toán là xu hướng chắc chắn. Các nhà cung cấp dịch vụ khả năng tính toán cần chuẩn bị cho những thay đổi của thị trường.