MT-NLG

• MicrosoftとNVIDIAによって開発された自然言語モデル
• GPT-3の3倍にあたる5300億パラメーター
• スペック
  • A100GPU
    • 432個の機械学習用のテンソルコア
    • 80GBのRAM
  • A100GPUを8個搭載したDGXを560台接続
• 学習データセットサイズ 1.5TB
  • Wikipedia, PubMedを含む11のデータベースから取得した数千億単位のテキストデータ