人間の嗜好に合わせてファインチューニング

昨年12月に発表した両モデルについて、基盤モデルと、同モデルを基にしたインストラクションチューニング済みモデルを提供する。すべてのモデルはApache 2.0ライセンスで提供され、同社の公式「Hugging Face」リポジトリからダウンロードできる。

「Rakuten AI 2.0」基盤モデルのファインチューニングでは、最新の研究成果であるSimPOを活用してアライメントを最適化。従来のRLHFやDPOと比べ、SimPOはシンプル・安定的・効率的というメリットがある。モデルを人間の嗜好に合わせてファインチューニングするための費用対効果が高く、実用的な代替手段となる。

同社では、会話形式や指示形式のデータで基盤モデルをファインチューニングした後に、会話能力と指示追従能力を測定するために使われる日本語版MT-Benchを用いて、モデルを評価した。

新モデル構築のベースにも利用可能

同社によると、「Rakuten AI 2.0」インストラクションチューニング済みモデルは、同程度のアクティブパラメータ数を持つほかのモデルと比べ、日本語版MT-Benchで最も高い性能を発揮。「Rakuten AI 2.0 mini」インストラクションチューニング済みモデルも、同様のサイズのオープンモデルの中で最も高い性能を持つという。

これらのモデルは、コンテンツの要約や質問への回答をはじめ、一般的なテキスト理解、対話システムの構築など、様々なテキスト生成タスクで商業利用が可能。また、新しいモデルを構築するためのベースとしても利用できる。