Microsoft は小規模な言語モデルの作成に取り組んでおり、それもそれに劣らないものであると信じています。
大規模な言語モデルよりも効率的です。たとえば、同社は 13 億のパラメータを持つ Phi 1 言語モデルを導入しましたが、モデルの比較テストでは、1,750 億のパラメータを持つ GPT 3.5 のパフォーマンスを上回る高い精度が示されました。 Phi 1 モデルは Transformer アーキテクチャに基づいて構築されており、特別に選択されたデータで 4 日間トレーニングされました。開発者は、トレーニングに高品質のデータセットが使用されたため、効果的な作業が達成されたと信じています。このモデルは 8 つの Nvidia A100 GPU を使用し、トレーニングに 4 日間かかりました。このモデルはオープン ソース コードに基づいており、人工知能の開発を促進するという Microsoft の取り組みを示しています。
