Cuộc chiến hỗn loạn trong lĩnh vực AI: Mỗi quốc gia một mô hình, năng suất đạt 100.000 cân một mẫu.

Tháng trước, ngành công nghiệp AI đã dấy lên một "cuộc chiến động vật".

Một bên là Llama, được các nhà phát triển yêu thích nhờ tính năng mã nguồn mở của nó. Công ty Điện lực Nhật Bản đã nghiên cứu tài liệu và mã nguồn của Llama, sau đó nhanh chóng phát triển phiên bản ChatGPT tiếng Nhật, giải quyết vấn đề bế tắc của Nhật Bản trong lĩnh vực AI.

Bên kia là một mô hình lớn có tên là Falcon. Vào tháng 5 năm nay, Falcon-40B đã ra mắt, vượt qua Llama để đứng đầu "Bảng xếp hạng LLM mã nguồn mở". Bảng xếp hạng này được cộng đồng mô hình mã nguồn mở tạo ra, cung cấp tiêu chuẩn để đánh giá khả năng của LLM. Trên bảng xếp hạng, cơ bản là Llama và Falcon luân phiên chiếm lĩnh vị trí số một.

Sau khi Llama 2 được ra mắt, gia đình Llama đã có thời gian vượt lên; nhưng vào đầu tháng 9, Falcon đã ra mắt phiên bản 180B, một lần nữa đạt được thứ hạng cao hơn.

Điều thú vị là, các nhà phát triển của Falcon không phải là một công ty công nghệ, mà là một viện nghiên cứu đổi mới công nghệ ở thủ đô của Các Tiểu vương quốc Ả Rập Thống nhất. Các quan chức chính phủ cho biết họ tham gia vào lĩnh vực này để lật đổ các người chơi cốt lõi.

Vào ngày tiếp theo sau khi phát hành phiên bản 180B, Bộ trưởng Bộ Trí tuệ nhân tạo của Các Tiểu vương quốc Ả Rập Thống nhất đã được chọn vào danh sách "100 người có ảnh hưởng nhất trong lĩnh vực AI" do tạp chí Time bình chọn; cùng với ông còn có "cha đẻ của AI" Geoffrey Hinton, Sam Altman của OpenAI và nhiều người khác.

Hiện nay, lĩnh vực AI đã bước vào giai đoạn hàng trăm ý kiến tranh luận: Các quốc gia và doanh nghiệp có tiềm lực đang xây dựng mô hình ngôn ngữ lớn của riêng mình. Chỉ riêng ở khu vực Vịnh, đã có nhiều người tham gia. Vào tháng 8, Ả Rập Saudi đã mua hơn 3000 chip H100 cho các trường đại học trong nước để đào tạo LLM.

Có nhà đầu tư đã phàn nàn: "Ngày xưa xem thường sự đổi mới mô hình kinh doanh của Internet, nghĩ rằng không có rào cản: cuộc chiến trăm nhóm, cuộc chiến trăm xe, cuộc chiến trăm phát sóng; không ngờ khởi nghiệp mô hình lớn công nghệ cứng vẫn là cuộc chiến trăm mô hình..."

Công nghệ cứng vốn dĩ có rào cản cao, làm thế nào lại trở thành lĩnh vực mà ai cũng có thể tham gia?

Transformer nuốt chửng thế giới

Dù là các công ty khởi nghiệp của Mỹ, những gã khổng lồ công nghệ Trung Quốc hay các ông trùm dầu mỏ Trung Đông, họ đều phải cảm ơn bài báo nổi tiếng đó: "Attention Is All You Need".

Năm 2017, 8 nhà khoa học máy tính đã công bố thuật toán Transformer trong bài báo này. Bài báo này hiện là bài báo được trích dẫn nhiều thứ ba trong lịch sử AI, sự xuất hiện của Transformer đã gây ra cơn sốt AI lần này.

Tất cả các mô hình lớn hiện tại, bao gồm series GPT gây chấn động thế giới, đều được xây dựng trên nền tảng của Transformer.

Trước đây, "dạy máy đọc sách" luôn được coi là một bài toán học thuật khó khăn. Khác với nhận diện hình ảnh, khi con người đọc, họ không chỉ chú ý đến từ ngữ hiện tại mà còn kết hợp với ngữ cảnh để hiểu.

Nhập liệu của mạng nơ-ron sớm độc lập với nhau, không thể hiểu văn bản dài hoặc thậm chí toàn bộ bài viết, do đó thường xuất hiện một số kết quả dịch phi lý.

Năm 2014, nhà khoa học của Google, Ilya, lần đầu tiên đạt được đột phá. Ông sử dụng mạng nơ-ron hồi tiếp (RNN) để xử lý ngôn ngữ tự nhiên, giúp hiệu suất của Google Dịch được cải thiện đáng kể.

RNN đã đề xuất "thiết kế tuần hoàn", cho phép mỗi nơ-ron vừa nhận đầu vào hiện tại, vừa nhận đầu vào của thời điểm trước đó, từ đó có khả năng "kết hợp ngữ cảnh".

Sự xuất hiện của RNN đã khơi dậy niềm đam mê nghiên cứu trong giới học thuật, tác giả bài báo về Transformer là Vaswani cũng đã từng nghiên cứu sâu sắc. Tuy nhiên, các nhà phát triển nhanh chóng phát hiện ra rằng RNN có những khuyết điểm nghiêm trọng:

Thuật toán này sử dụng tính toán tuần tự, mặc dù đã giải quyết được vấn đề ngữ cảnh, nhưng hiệu suất hoạt động kém, khó xử lý một lượng lớn tham số.

Thiết kế phức tạp của RNN đã nhanh chóng khiến Shahzal cảm thấy chán ngấy. Do đó, từ năm 2015, Shahzal cùng với 7 người bạn đồng sở thích đã bắt tay vào phát triển một sản phẩm thay thế cho RNN, và kết quả là Transformer.

So với RNN, Transformer có hai đổi mới lớn:

Thứ nhất là việc thay thế thiết kế vòng lặp của RNN bằng mã hóa vị trí, giúp thực hiện tính toán song song, nâng cao đáng kể hiệu quả đào tạo, cho phép xử lý dữ liệu lớn, đưa AI vào kỷ nguyên mô hình lớn; thứ hai là tăng cường khả năng hiểu ngữ cảnh.

Transformer đã giải quyết nhiều khuyết điểm một cách nhanh chóng, dần trở thành giải pháp chủ đạo trong lĩnh vực NLP, khiến người ta có cảm giác rằng "nếu không có Transformer, NLP sẽ mãi mãi như một đêm dài." Thậm chí, cả Ilya cũng từ bỏ RNN mà ông đã sáng lập, chuyển sang ủng hộ Transformer.

Nói cách khác, Transformer là nền tảng của tất cả các mô hình lớn ngày nay, nó đã biến các mô hình lớn từ nghiên cứu lý thuyết thành các vấn đề kỹ thuật thuần túy.

Năm 2019, OpenAI đã phát triển GPT-2 dựa trên Transformer, gây chấn động giới học thuật. Để đáp lại, Google đã nhanh chóng ra mắt một AI mạnh mẽ hơn, mang tên Meena.

So với GPT-2, Meena không có đột phá về thuật toán, chỉ tăng 8,5 lần tham số huấn luyện và 14 lần sức mạnh tính toán. Tác giả bài báo về Transformer, Shahraz, rất sốc trước cách "xếp chồng bạo lực" này, và ngay lập tức đã viết một bản ghi nhớ có tiêu đề "Meena nuốt chửng thế giới".

Sự ra đời của Transformer đã khiến tốc độ đổi mới thuật toán cơ bản trong giới học thuật giảm đáng kể. Các yếu tố kỹ thuật như kỹ thuật dữ liệu, quy mô năng lực tính toán, kiến trúc mô hình dần trở thành yếu tố then chốt trong cuộc cạnh tranh AI, chỉ cần có một năng lực kỹ thuật nhất định, các công ty công nghệ đều có thể phát triển các mô hình lớn.

Vì vậy, nhà khoa học máy tính Andrew Ng đã đề xuất trong bài phát biểu tại Đại học Stanford: "AI là một tập hợp các công cụ, bao gồm học có giám sát, học không có giám sát, học tăng cường và hiện nay là trí tuệ nhân tạo sinh sinh. Tất cả đều là công nghệ chung, tương tự như điện và internet, những công nghệ chung khác."

Mặc dù OpenAI vẫn là người dẫn đầu trong LLM, nhưng tổ chức phân tích bán dẫn Semi Analysis cho rằng sức cạnh tranh của GPT-4 chủ yếu đến từ các giải pháp kỹ thuật - nếu mã nguồn mở, bất kỳ đối thủ cạnh tranh nào cũng có thể nhanh chóng sao chép.

Nhà phân tích này dự đoán rằng các công ty công nghệ lớn khác có thể sớm phát triển các mô hình lớn có hiệu suất tương đương với GPT-4.

Hàng rào thành phố xây trên kính

Hiện nay, "Chiến tranh trăm mô hình" không còn là một phép ẩn dụ, mà là một thực tế khách quan.

Các báo cáo liên quan cho thấy, tính đến tháng 7 năm nay, số lượng mô hình lớn trong nước đã đạt 130 cái, vượt qua con số 114 của Mỹ, đã thực hiện một cú vượt mặt ngoạn mục, các truyền thuyết và huyền thoại gần như không đủ cho các công ty công nghệ trong nước đặt tên.

Ngoài Trung Quốc và Mỹ, nhiều quốc gia giàu có khác cũng đã cơ bản thực hiện "mô hình một quốc gia một" : Ngoài Nhật Bản và Các Tiểu vương quốc Ả Rập Thống nhất, còn có mô hình lớn Bhashini do chính phủ Ấn Độ dẫn dắt, HyperClova X do công ty Internet Hàn Quốc Naver phát triển, v.v.

Cảnh tượng này khiến người ta nhớ đến thời kỳ khai thác Internet khi mà bọt khí bay đầy trời, và "khả năng tiền tệ" quyết định mọi thứ.

Như đã đề cập trước đó, Transformer đã biến các mô hình lớn thành một vấn đề thuần túy kỹ thuật, chỉ cần có nhân tài, vốn và phần cứng, phần còn lại sẽ được giao cho các tham số. Tuy nhiên, sự giảm thấp ngưỡng vào không có nghĩa là ai cũng có thể trở thành ông trùm trong thời đại AI.

Vụ "Cuộc chiến động vật" được đề cập ở đầu là một ví dụ điển hình: Mặc dù Falcon đã vượt qua Llama về xếp hạng, nhưng khó có thể nói rằng điều đó đã gây ảnh hưởng lớn đến Meta.

Như mọi người đều biết, các doanh nghiệp mở nguồn các kết quả nghiên cứu của mình không chỉ để chia sẻ thành tựu khoa học với xã hội mà còn hy vọng có thể kích thích trí tuệ của quần chúng. Khi các giáo sư đại học, các cơ quan nghiên cứu và các doanh nghiệp vừa và nhỏ liên tục sử dụng và cải tiến Llama, Meta có thể áp dụng những thành tựu này vào sản phẩm của mình.

Đối với mô hình lớn nguồn mở, cộng đồng nhà phát triển năng động mới là sức mạnh cạnh tranh cốt lõi của nó.

Ngay từ khi thành lập phòng thí nghiệm AI vào năm 2015, Meta đã xác lập nguyên tắc cơ bản về mã nguồn mở; Zuckerberg, người khởi nghiệp từ mạng xã hội, càng hiểu rõ tầm quan trọng của "duy trì mối quan hệ với công chúng".

Chẳng hạn, vào tháng 10, Meta đã tổ chức một sự kiện "Khuyến khích người sáng tạo phiên bản AI": các nhà phát triển sử dụng Llama 2 để giải quyết các vấn đề xã hội như giáo dục, môi trường có cơ hội nhận được khoản tài trợ 500.000 đô la.

Ngày nay, dòng Llama của Meta đã trở thành biểu tượng của LLM mã nguồn mở.

Tính đến đầu tháng 10, trong top 10 bảng xếp hạng LLM mã nguồn mở, có 8 cái được phát triển dựa trên Llama 2, tất cả đều sử dụng giấy phép mã nguồn mở của nó. Chỉ trên nền tảng này, số lượng LLM sử dụng giấy phép mã nguồn mở Llama 2 đã vượt quá 1500 cái.

Tất nhiên, việc nâng cao hiệu suất như Falcon cũng không phải là không thể, nhưng hiện tại hầu hết các LLM trên thị trường vẫn có khoảng cách rõ rệt với GPT-4.

Ví dụ, cách đây không lâu, GPT-4 đã xếp hạng nhất trong bài kiểm tra AgentBench với điểm số 4.41. AgentBench là một tiêu chuẩn được hợp tác phát triển bởi Đại học Tsinghua với Đại học Bang Ohio và Đại học California, Berkeley, được sử dụng để đánh giá khả năng suy luận và ra quyết định của LLM trong môi trường tạo ra mở đa chiều, nội dung kiểm tra bao gồm các nhiệm vụ trong 8 môi trường khác nhau như hệ điều hành, cơ sở dữ liệu, đồ thị tri thức, và đấu thẻ.

Kết quả thử nghiệm cho thấy, người đứng thứ hai là Claude chỉ đạt 2.77 điểm, khoảng cách vẫn còn rõ ràng. Còn về những LLM mã nguồn mở rầm rộ, điểm số thử nghiệm của chúng thường chỉ khoảng 1 điểm, chưa đến một phần tư của GPT-4.

Cần biết rằng, GPT-4 được phát hành vào tháng 3 năm nay, đây vẫn là thành quả sau hơn nửa năm các đối thủ toàn cầu chạy đuổi theo. Nguyên nhân gây ra khoảng cách này là do đội ngũ nhà khoa học trình độ cao của OpenAI và kinh nghiệm tích lũy từ nghiên cứu LLM lâu dài, vì vậy họ luôn có thể duy trì vị trí dẫn đầu.

Nói cách khác, khả năng cốt lõi của mô hình lớn không phải là tham số, mà là xây dựng hệ sinh thái (mã nguồn mở) hoặc khả năng suy luận thuần túy (mã nguồn đóng).

Với sự phát triển ngày càng mạnh mẽ của cộng đồng mã nguồn mở, hiệu suất của các LLM có thể sẽ trở nên đồng nhất, vì mọi người đều sử dụng các kiến trúc mô hình và tập dữ liệu tương tự.

Một vấn đề trực quan hơn là: ngoài Midjourney, dường như không có mô hình lớn nào khác có thể tạo ra lợi nhuận.

Điểm neo giá trị

Vào tháng 8 năm nay, một bài viết có tiêu đề "OpenAI có thể sẽ phá sản vào cuối năm 2024" đã thu hút được nhiều sự chú ý. Nội dung chính của bài viết có thể được tóm tắt trong một câu: Tốc độ cháy tiền của OpenAI quá nhanh.

Bài viết đề cập rằng, kể từ khi phát triển ChatGPT, khoản lỗ của OpenAI đang nhanh chóng mở rộng, chỉ riêng trong năm 2022 đã lỗ khoảng 540 triệu USD, chỉ có thể chờ đợi các nhà đầu tư của Microsoft thanh toán.

Mặc dù tiêu đề bài viết có phần giật gân, nhưng nó cũng phản ánh thực trạng của nhiều nhà cung cấp mô hình lớn: chi phí và doanh thu đang mất cân bằng nghiêm trọng.

Chi phí quá cao khiến hiện tại chỉ có Nvidia kiếm được nhiều tiền từ trí tuệ nhân tạo, có thể thêm Broadcom.

Theo ước tính của công ty tư vấn Omdia, NVIDIA đã bán được hơn 300.000 chip H100 trong quý hai năm nay. Đây là một chip AI, có hiệu suất đào tạo AI cực kỳ cao, các công ty công nghệ và tổ chức nghiên cứu trên toàn cầu đang tranh nhau mua. Nếu xếp chồng 300.000 chip H100 đã bán được lại với nhau, trọng lượng tương đương với 4,5 chiếc máy bay Boeing 747.

Doanh thu của NVIDIA cũng tăng vọt, với doanh thu năm nay tăng 854% so với cùng kỳ năm trước, khiến Phố Wall vô cùng bất ngờ. Đáng chú ý là hiện tại giá của H100 trên thị trường thứ cấp đã bị thổi phồng lên 40.000 - 50.000 đô la, trong khi chi phí vật liệu chỉ khoảng 3.000 đô la.

Chi phí tính toán cao đã trở thành một trở ngại cho sự phát triển của ngành công nghiệp ở một mức độ nào đó. Sequoia Capital đã thực hiện một ước tính: Các công ty công nghệ toàn cầu dự kiến sẽ chi 200 tỷ USD mỗi năm cho việc xây dựng cơ sở hạ tầng mô hình lớn; trong khi đó, mô hình lớn chỉ có thể tạo ra tối đa 75 tỷ USD doanh thu mỗi năm, có ít nhất 125 tỷ USD khoảng cách ở giữa.

Ngoài ra, trừ một số ngoại lệ như Midjourney, hầu hết các công ty phần mềm vẫn chưa nghĩ ra cách kiếm lợi nhuận sau khi đã chi tiêu một khoản chi phí khổng lồ. Đặc biệt, hiệu suất của hai người dẫn đầu trong ngành - Microsoft và Adobe đều không như mong đợi.

Microsoft và OpenAI đã hợp tác phát triển một công cụ tạo mã AI có tên GitHub Copilot. Dù mỗi tháng thu phí 10 đô la, nhưng do chi phí cơ sở hạ tầng, Microsoft lại phải chịu lỗ 20 đô la. Những người dùng nặng thậm chí có thể khiến Microsoft lỗ 80 đô la mỗi tháng. Từ đó suy ra, Microsoft 365 Copilot có giá 30 đô la có thể sẽ lỗ nhiều hơn.

Tương tự, Adobe vừa ra mắt công cụ Firefly AI cũng nhanh chóng giới thiệu một hệ thống điểm kèm theo, nhằm ngăn chặn việc người dùng sử dụng quá mức dẫn đến thua lỗ cho công ty. Một khi người dùng sử dụng vượt quá số điểm phân bổ hàng tháng, Adobe sẽ giảm tốc độ dịch vụ.

Cần biết rằng Microsoft và Adobe đã là những ông lớn phần mềm có bối cảnh kinh doanh rõ ràng, sở hữu số lượng lớn người dùng trả phí hiện tại. Trong khi đó, hầu hết các mô hình lớn với vô số tham số, thì ứng dụng chính của chúng vẫn chủ yếu là trò chuyện.

Không thể phủ nhận rằng, nếu không có sự ra đời của OpenAI và ChatGPT, cuộc cách mạng AI này có thể hoàn toàn không xảy ra; nhưng hiện tại, giá trị mà việc huấn luyện các mô hình lớn mang lại có lẽ cần phải đặt một dấu hỏi.

Hơn nữa, với sự gia tăng cạnh tranh đồng nhất và sự xuất hiện ngày càng nhiều của các mô hình mã nguồn mở trên thị trường, không gian dành cho các nhà cung cấp mô hình lớn đơn thuần có thể sẽ nhỏ hơn.

Sự thành công của iPhone 4 không phải vì vi xử lý A4 45nm, mà là vì nó có thể chơi Plants vs. Zombies và Angry Birds.