Ant Groupは、2023年のINCLUSION·Conference on the Bundで、その金融向け大規模言語モデル（LLM）を公開しました。
Ant Groupの金融LLMは、中国の金融文書を含む数千億のトークンデータセットと、一般的なコーパスデータセットからの1,000億以上のトークンでトレーニングされています。さらに、金融LLMは、実際の業界ユースケースからの60万以上の指示を利用し、金融特化のタスクの能力を大幅に最適化しています。
金融LLMは、Ant Groupが開発した高効率な汎用LLMをベースに微調整されました。例えば、Ant Groupの汎用モデルは、異種のGPUをサポートするヘテロジニアスハードウェアクラスタを利用し、1,000台のGPUのモデルFLOPs利用率が40％に達しています。さらに、モデルの人間からのフィードバックによる強化学習（RLHF）のトレーニングスループットは、一貫したモデルパフォーマンスの下で3.59倍向上し、既存の業界基準と比較して推論パフォーマンスは約2倍向上しています。
その技術的な能力により、金融LLMは、資産管理（金融商品評価、市場分析、投資家教育など）や保険サービス（保険商品の説明、家族向け保険プランの作成、保険金の検証など）を含む幅広い専門サービスを支援することができます。
Ant Groupの副社長であるWang Xiaohang氏は、「汎用LLMは産業固有の用途に適用するのは難しい。金融業界に真の価値をもたらすためには、言語能力、領域知識、専門知識、およびセキュリティ能力が前提条件となり、これらは金融LLMの開発における主要な課題でもある」と述べています。「金融サービスビジネスの幅広い経験に基づき、Ant GroupはLLM技術と領域知識、業界サービスを統合したアーキテクチャを開発し、既にAnt Groupのインテリジェントな金融サービスシナリオでテストを行なっています。」
今後、Ant Groupは中国市場の機関と協力し、金融LLMの力をデジタル金融サービス全般に活用します。
同日、Ant Groupは、開発者コミュニティ向けに、AIを活用したコーディングプラットフォーム「CodeFuse」をオープンソース化しました。さらに、金融特化型のAIタスクベンチマーク「Fin-Eval」を一般に公開して、金融業界向けのLLMの産業革新を促進しています。
