マイクロソフトが発表したT-NLGのパラメータ数が170億だったのに対し…

マイクロソフトが発表したT-NLGのパラメータ数が170億だったのに対し、GPT-3はなんと、その10倍の1750億パラメータ

しかし、GPT-3だけが唯一の手段ではありません。IBMのX-Forceシステムは、理論的には1,000個のパラメータを上限としていますが、これがプログラムの力の限界ではありません。X-Forceシステムは約200万個のパラメータを計算することができ、これはほとんどの実世界の問題には十分です。これより小さいシステムであるOpen MPIベースのMPI-Serverは、理論上の最大パラメータは100個ですが、約1,000個のパラメータしか計算できません。

もう一つの方法は、パラメータの固定数を設定して、例えば100個のパラメータを設定し、算術演算を使ってパラメータのセットの値を計算することです。これがMPICHのやり方です。固定数のパラメータを使用して、パラメータの集合の値を計算します。しかし、パラメータのセットの値を計算できない場合、MPICHはパラメータの数がまだ固定されているかどうかを確認するために再プログラムすることができます。

MPICHよりも高速な別のアプローチがありますが、これは算術演算を使用しません。これはBabbageアプローチとして知られており、エジンバラ大学によって開発されました

この作品の出来はいかがでしたでしょうか。ご判定を投票いただくと幸いです。
 
- 投票結果 -
よい
わるい
お気軽にコメント残して頂ければ、うれしいです。