当日のOHP資料です。
このような高度な深層ニューラルネットワークを利用しているため、それに応じて、学 習データの量と計算資源をますます増やす必要があります。実際、近年のLLMの学習に は数百?数千個のGPU やTPU が使われています。パラメータ1000 個に対しておよそ1ド ル使用すると見積もられています。例えば、GPT-3(パラメータ1750 億個)の学習費用 は日本円にすると10 億円を超えます!(参考: The Cost of Training NLP Models: AConcise Overview )