効率的に事前学習や推論のテキスト処理が可能

同社のLLMは、高品質なデータを使った事前学習によって高性能を実現。フランスのMistral AI社のオープンモデル「Mistral-7B-v0.1」を基に、インターネット上にある膨大な日本語と英語のデータで事前学習を繰り返している。

与えられた条件に従ってデータを選別・抽出する内製のフィルタリング機能と、関連情報をメタデータとして付与するアノテーション作業によって、質を向上させたデータを事前学習に使った。これにより高性能化に結び付けたという。

また、日本語の言語に最適化された独自の形態素解析器を使用することで、より多くの情報を単一のトークンに含めることができる。その結果、より効率的に事前学習や推論のテキスト処理が行えるようになった。

商用目的の使用が可能

さらに、オープンな日本語LLMでトップの評価を獲得。基盤モデルとインストラクションチューニング済みモデルは、言語モデル評価ツール「LM Evaluation Harness」の基準で、日本語と英語のLLMの高いパフォーマンスが評価されている。

3つのモデルは、文章の要約や質問応答、一般的な文章の理解、対話システムの構築など様々なテキスト生成タスクで、商用目的として使用できる。基盤モデルは、ほかのモデルの基盤としても利用できる。