TL;DR
京東がオープンソースで公開した 48 億パラメータ規模の大規模言語モデル「JoyAI-Flash」は、最新の最適化フレームワークとマルチトークン予測によりスループットを大幅に向上させ、産業AI への応用が期待される。
Quick Facts
- モデル名：JoyAI-Flash（JoyAI-LLM-Flash）
- 総パラメータ数：48B（約480 億）
- アクティベーションパラメータ数：3B（約30 億）
- 学習データ量：20 万億トークン
- 主な最適化技術：FiberPO フレームワーク、Muon 最適化器、MTP（マルチトークン予測）
- ファインチューニング手法：SFT → DPO → RL の三段階
導入
生成 AI と大規模言語モデル（LLM）が日本でも急速に普及する中、海外のテック企業が提供するオープンソースモデルは重要な情報源となっている。京東（JD.com）は、Hugging Face にて 48B パラメータ規模の LLM「JoyAI-Flash」を公開し、同時に学習に用いた最適化フレームワークやファインチューニング手法の詳細も公開した。本稿では、公開情報に基づき技術的特徴と日本市場への示唆を整理する。
JoyAI-Flash の概要と主なスペック
JoyAI-Flash は京東が独自に開発した大規模言語モデルで、以下のスペックを持つ。
- 総パラメータ数：48B（約480 億）
- アクティベーションパラメータ数：3B（約30 億）
- 学習データ：20 万億トークン規模のテキストコーパス
- 得意分野：最新知識の理解、論理的推論、プログラミング支援、エージェント機能
学習データ量は従来のオープンソース LLM の数十倍に相当し、知識の網羅性と推論深度の向上が期待できる。
最新最適化フレームワーク「FiberPO」と「Muon」最適化器
FiberPO の概要
FiberPO は京東が提案した最適化フレームワークで、Fiber Bundle Theory を強化学習に組み込むことでパラメータ空間の構造を幾何学的に把握し、効率的な探索を実現する。モデルが学習すべき方向性を理論的に導く仕組みとして機能する。
Muon 最適化器と MTP（Multi‑Token Prediction）
大規模モデルはスケールアップ時に学習が不安定になることが課題となるが、JoyAI‑Flash では Muon と呼ばれる独自の最適化器と、稠密なマルチトークン予測（MTP）を組み合わせることで安定性とスループットを向上させている。実測では、MTP 非搭載版に比べてスループットが 1.3〜1.7 倍向上したと報告されている。
学習プロセス：SFT、DPO、RL の三段階ファインチューニング
JoyAI‑Flash のファインチューニングは次の三段階で実施された。
- SFT（Supervised Fine‑Tuning）：高品質な対話データを用いた教師あり学習
- DPO（Direct Preference Optimization）：人間の好みを直接反映させる最適化手法
- RL（Reinforcement Learning）：エージェントが環境と相互作用しながら報酬を最大化
このプロセスにより、単なる知識提供に留まらず、目的指向的な行動や長期的計画立案が可能なエージェントレベルの性能が実現された。
日本市場へのインパクト
京東がオープンソースで提供することにより、国内外の開発者が無料で最先端 LLM を利用できる環境が整った。主な影響は次の二点である。
- 競争環境の激化：大規模モデル構築のハードルが低下し、ベンチャー企業や研究機関が迅速に実証実験を行えるようになる。
- 産業AI への応用シナジー：プログラミング支援やエージェント機能が強化されたことから、物流・小売・製造といった日本の産業分野での自動化・最適化に活用できるケースが増える。特に、膨大な取引データを保有する企業は、独自のファインチューニングにより差別化が可能になる。
既に国内大手の楽天や ZOZO も独自の生成 AI 開発を進めているが、オープンソースの高性能モデルが入手可能になることで、開発コストと時間の削減が期待できる。
まとめ
JoyAI‑Flash はパラメータ規模だけでなく、FiberPO フレームワークや Muon 最適化器といった新技術により「スケール」と「安定性」の両立を実現した。日本のテック企業にとっては、オープンソース化された高性能 LLM が新たな開発基盤となり得る。実際に Hugging Face からモデルを取得し、ハンズオンで性能を確認することが次のステップとして有益である。