IT House mengeluarkan artikel hari ini yang menyatakan bahwa volume tumpukan buta model AI sebenarnya belum tentu lebih baik. Itu lebih tergantung pada kualitas data pelatihan. Microsoft baru-baru ini merilis model bahasa phi-1 dengan 1,3 miliar parameter , menggunakan pelatihan kumpulan data berkualitas tinggi "Tingkat buku teks", dikatakan bahwa "efek sebenarnya lebih baik daripada GPT 3.5 dengan 100 miliar parameter". Model ini didasarkan pada arsitektur Transformer, dan tim Microsoft menggunakan data "tingkat buku teks" dari web dan "konten yang ketat secara logis" yang diproses dengan GPT-3.5, serta delapan GPU Nvidia A100, untuk menyelesaikan pelatihan hanya dalam waktu 4 hari. Tim Microsoft mengatakan bahwa daripada meningkatkan jumlah parameter model, meningkatkan kualitas kumpulan data pelatihan model dapat meningkatkan akurasi dan efisiensi model. Oleh karena itu, mereka menggunakan data berkualitas tinggi untuk melatih model phi-1 . Dalam pengujian, skor phi-1 mencapai 50,6%, lebih baik dari GPT-3,5 (47%) dengan 175 miliar parameter. Microsoft juga menyatakan bahwa phi-1 akan menjadi open source di HuggingFace selanjutnya, dan ini bukan pertama kalinya Microsoft mengembangkan LLM kecil.Sebelumnya, mereka membuat 13 miliar parameter Orca, yang dilatih menggunakan data sintetis GPT-4. kinerja juga lebih baik dari ChatGPT.