IT House hôm nay đã có bài viết cho biết khối lượng mù quáng của mô hình AI thực ra chưa chắc đã tốt hơn mà nó phụ thuộc nhiều hơn vào chất lượng của dữ liệu đào tạo. Microsoft mới đây đã phát hành mô hình ngôn ngữ phi-1 với 1,3 tỷ tham số , sử dụng đào tạo tập dữ liệu chất lượng cao "cấp sách giáo khoa", người ta nói rằng "hiệu quả thực tế tốt hơn GPT 3.5 với 100 tỷ tham số". Mô hình này dựa trên kiến trúc Transformer và nhóm Microsoft đã sử dụng dữ liệu "cấp sách giáo khoa" từ web và "nội dung nghiêm ngặt về mặt logic" được xử lý bằng GPT-3.5, cũng như tám GPU Nvidia A100, để hoàn thành khóa đào tạo chỉ trong 4 ngày . Nhóm Microsoft cho biết thay vì tăng số lượng tham số của mô hình, việc cải thiện chất lượng tập dữ liệu đào tạo của mô hình có thể nâng cao độ chính xác và hiệu quả của mô hình. . Trong bài kiểm tra, điểm số của phi-1 đạt 50,6%, tốt hơn GPT-3.5 (47%) với 175 tỷ tham số. Microsoft cũng tuyên bố rằng phi-1 sẽ được mã nguồn mở trong HuggingFace tiếp theo và đây không phải là lần đầu tiên Microsoft phát triển một LLM nhỏ, trước đây họ đã tạo ra một Orca 13 tỷ tham số, được đào tạo bằng cách sử dụng dữ liệu tổng hợp GPT-4. hiệu suất cũng tốt hơn ChatGPT.