IT House bugün AI modelinin kör yığın hacminin aslında daha iyi olmadığını belirten bir makale yayınladı.Daha çok eğitim verilerinin kalitesine bağlıdır.Microsoft kısa süre önce 1,3 milyar parametreli bir dil modeli phi-1 yayınladı. , "ders kitabı Düzeyinde" yüksek kaliteli veri seti eğitimi kullanılarak, "gerçek etkinin 100 milyar parametreli GPT 3.5'ten daha iyi olduğu" söyleniyor. Model, Transformer mimarisine dayanmaktadır ve Microsoft ekibi, eğitimi yalnızca 4'te tamamlamak için web'den "ders kitabı düzeyinde" veriler ve GPT-3.5 ile işlenen "mantıksal olarak titiz içerik" ve ayrıca sekiz Nvidia A100 GPU kullandı. günler Microsoft ekibi, modelin parametre sayısını artırmak yerine modelin eğitim veri setinin kalitesini artırmanın modelin doğruluğunu ve verimliliğini artırabileceğini söyledi ve bu nedenle phi-1 modelini eğitmek için yüksek kaliteli veriler kullandılar. . Testte phi-1 puanı %50,6'ya ulaştı ve bu, 175 milyar parametre ile GPT-3,5'ten (%47) daha iyi. Microsoft ayrıca phi-1'in HuggingFace'te açık kaynaklı olacağını ve Microsoft'un ilk kez küçük bir LLM geliştirmediğini, bundan önce GPT-4 sentetik verileri kullanılarak eğitilmiş 13 milyar parametreli Orca oluşturduğunu belirtti. Performans ayrıca ChatGPT'den daha iyidir.