ファインチューニング

  • Fine-tuning。微調整。
  • あるデータセットを使って事前学習した訓練済みモデルの一部もしくは全体を、別のデータセットを使って再トレーニングし、新しいタスク向けに機械学習モデルのパラメータを微調整すること。

転移学習との違い

  • 狭義の転移学習は訓練済みモデルのネットワークの末端(=出力層)に新しいタスク用の層を追加して、それよりも前にある各層の各パラメーターはフリーズして調整されないようにすること。
  • ファインチューニングでは訓練済みモデルのネットワークの末端に新しいタスク用の層を追加したうえで、訓練済みの一部の層もしくは全部の層のパラメーターを微調整する。末端の層以外も調整される。
  • 狭義の転移学習は末端の層の調整のみなのでトレーニング用のデータ数は少量でよい。一方ファインチューニングは複数の層の調整の必要がありデータ数も比較的大量に必要となる。