来春にオープンソースコミュニティへ公開

AIアプリケーションを開発する企業や技術者などの支援を目指し、来春をメドにオープンソースコミュニティに向けて公開する予定としている。

「Rakuten AI 2.0」は、今年3月に公開した日本語に最適化した高性能LLMの基盤モデル「Rakuten AI 7B」を基に開発したMoE基盤モデル。このLLMは、8つの70億パラメータで構築した「エキスパート」と呼ばれるサブモデルで構成されている。

トークンは、ルーターによって選定された最も適した2つの「エキスパート」に処理される。それぞれの「エキスパート」とルーターは、高品質な日本語と英語の言語データを用いて継続的に学習している。

楽天初の小規模言語モデル

同社にとって初の開発となったSLM「Rakuten AI 2.0 mini」は、15億パラメータの基盤モデルとなる。

このSLMは、広範な日本語と英語のデータセットで最初から学習されており、テキスト生成で高性能・高精度な処理を実現している。