日本語に最適化された約7000億パラメータ

「Rakuten AI 3.0」は、日本語に最適化された約7000億パラメータのMoE（Mixture of Experts）アーキテクチャを採用。楽天の公式リポジトリから無償でダウンロードできる。

オープンソースコミュニティ上の最良モデルを基に、同社独自のバイリンガルデータや技術力を活用して開発した。日本の独特な言語のニュアンスや文化・慣習を深く理解できる。文章の作成やコード生成、文書の解析など、幅広い用途のテキスト処理に優れているという。これまでに同社が開発したモデルと比べ、特に複雑なタスクに対する精度が大幅に向上した。

日本固有の文化的知識、歴史、大学院レベルの推論などに関する複数の日本語ベンチマークを用いて評価した結果、主要モデルを上回るスコアが得られている。

AIアプリケーションやLLMの開発を後押し

同社は次世代LLMの研究開発を進める上で、昨年7月、GENIACプロジェクトの第3期公募に採択された。「Rakuten AI 3.0」の学習費用の一部については、生成AI開発に必要な計算資源として、GENIACプロジェクトの補助を受けた。今回開発したモデルの公開により、AIアプリケーションやLLMの開発を後押しするとしている。

同社のティン・ツァイ（Chief AI & Data Officer）氏は、「オープンモデルを共有することで、国内におけるAI開発を加速化するとともに、経済産業省とも連携し、日本全国の人々に変革をもたらす協調的なAI開発コミュニティを構築することを目指します」とのコメントを出した。