LLM ファクトチェック・エージェント開発の裏側：RFT から GRPO 、推論スケーリングまで
生成AIの進化により、真偽不明の情報が一瞬で拡散される時代になりました。これに対抗するため、NABLAS では「ファクトチェックを自動化する AI エージェント」の開発に取り組んでいます。本記事では、GENIAC 第3期に採択され開発した LLM ベースのファクトチェックを行うAIエージェント開発のアーキテクチャから、データセット構築、強化学習を含む学習プロセスまで、技術的な面をメインにご紹介します。
なお、本開発は、経済産業省とNEDO（国立研究開発法人新エネルギー・産業技術総合開発機構）が実施する、国内の生成AIの開発力強化を目的としたプロジェクト「GENIAC（Generative AI Accelerator Challenge）」の支援を受けて実施したものです。
ファクトチェック・エージェントの全体像
NABLAS が開発したエージェントは、ただプロンプトを投げるだけのものではありません。実際の報道現場のワークフローを模倣し、3ステップのパイプラインを実装しました。
主張の分解：入力された長いニュース記事を、それ以上分けられない単位の主張に分割します。
探索と正誤判定：分割された各主張に対し、深層リサーチモデルが稼働します。ここでは、検索キーワードの選定、インターネット検索の実行、有用性に基づくウェブページの訪問先の判断、そして情報収集までを反復的に行い、正誤を判定します。
レポートの生成：収集した情報と推論プロセスを統合し、最終的な判定と証拠となるソースの要約を含むレポートをまとめます。
データセット構築：質の高い日本語データはどう作るか？
ファクトチェックに特化した LLM を構築する上で最大の壁は「質の高い日本語データセットの欠如」でした。私たちは約半年間にわたり、3段階のフェーズでデータ収集の試行錯誤を繰り返しました。
フェーズ1：Wikipedia の罠
まずは日本語版 Wikipedia の記事冒頭を抽出し、LLM を用いてアトミックな真偽の主張に変換するパイプラインを構築しました。これで約60万サンプルという大規模データを構築したのですが、いざ学習させてみると「 Wikipedia の知識だけで解ける問題は簡単すぎて、モデルの推論能力（推論プロセスを回す力）が全く向上しない」という結果に終わりました。
フェーズ2：英語 QA データの翻訳による推論強化
次に、複雑で長い推論プロセスを含む「英語の公開QAデータセット」に目をつけました。これを、LLM の出力フォーマットを維持したまま日本語に翻訳し、約800件の高品質なデータを収集しました。このデータで SFT（教師あり微調整）を行った結果、モデルの推論能力とインターネット検索能力は劇的に向上しました。
フェーズ3：実際のニュース記事を用いたドメイン適応
推論能力は向上したものの、日本の社会的・文化的背景への適応が必要でした。そこで、実際のニュース記事を元にLLMを用いて「真」および「偽」の主張を自動生成し、約1万4000〜1万7000サンプルのデータセットを構築しました。最終的にこのデータが SFT および RL（強化学習）の土台となりました。
計算リソースとベースモデル
学習には強力なインフラが必要です。今回は、NVIDIA H200 GPUを1ノードあたり8基搭載した A3 Ultra コンピュータークラスタを3ノード使用しました。データ生成・収集用に1ノード、SFT学習用に2ノードを割り当て、最終段階のRLでは全リソースを投入するほどの計算量でした。
能力を強化しつつ、軽量ながら見落としが少ない、32B クラスモデルをベースモデルとして採用しています。
学習プロセス：RFT から GRPO へのパイプライン
モデルの学習は「教師ありファインチューニング（SFT）」と「強化学習（RL）」の2段階で行いました。
教師ありファインチューニング（SFT）：Rejective Fine-Tuning (RFT) によるデータ選別を採用
ベースモデルのファインチューニングには、深層リサーチモデルに生成させた「推論からツール利用、予測に至る一連のトラジェクトリ」を使用しました。単に生成結果を使うのではなく、正解と一致し、かつ適切なツール利用や論理プロセスを持っているものだけを厳選してサンプリングするRejective Fine-Tuning （RFT）のアプローチを採用しています。これにより、モデルに「ツールの使い方」と「正しい推論の導き方」を叩き込みました
強化学習（RL）：GRPO によるツール選択能力の強化
SFTに続き、モデルのツール選択能力と最終的な予測精度を限界まで引き上げるため、GRPO （Group Relative Policy Optimization） アルゴリズムによる強化学習を実施しました。報酬設計は非常にシンプルかつ厳格です。予測の正確さ・フォーマットの正しさ・URLの一致などを元にした、モデルの予測スコアが正解と一致した場合は「+1」、そうでない場合は「-1」を与えるルールベースの報酬を与えています。
高度な評価と推論：Factcheck RM と推論スケーリング
ソースやアウトプットの信頼性を判定する専用の報酬モデルである Factcheck Reward Modeling の開発も並行して行いました。ここでは、Generalist Reward Modeling という手法を取り入れています。GRMでは、モデルが「原則→ 批評→ スコア」の順に出力するように学習させます。推論時には、複数の原則や批評、スコアを並列でサンプリングして評価・統合する推論時のスケーリングを用いることで、報酬の予測精度を格段に向上させることに成功しました。
実証実験の結果：GPT や Gemini を超える精度と現場のリアルな声
これらの技術を結集したモデルを、インターネット上の疑わしい情報に関するデータセットである JSocialFact で評価したところ、以下のような結果が出ました。
自社モデル (RL) : 97% (32/33)
自社モデル (SFT) : 94% (31/33)
GEMINI-3.1-lite-preview : 88% (29/33)
GPT-4o-mini : 73% (24/33)
強化学習まで行ったモデルは圧倒的な精度を叩き出し、さらに「なぜそのように判断したのか」という証拠の説明も非常に詳細に出力できるようになりました。
また、報道現場の専門家と行った実証実験では、人間が手作業で45〜60分かけていたファクトチェック業務を、AIの活用により10〜15分へと約75%削減することに成功しました。最終的な真偽判定の一致率も88%に達しています。
一方で、現場からは「Wikipedia だけを情報源にされると、報道の根拠としては弱い」「皮肉や日本特有の文脈を文字通り解釈してしまうことがある」「AIが提示したURLがリンク切れだった場合、結局人間が探し直す手間がかかる」といった厳しいフィードバックも得られました。
おわりに
今回の開発と実証実験を通じて、現段階のAIは「完全に自動でファクトチェックを行う魔法の杖」ではなく、膨大な情報の海から素早く証拠を拾い上げ、人間の判断を支援する「強力なコパイロット」であることが明確になりました。
今後は、単なる「真偽」だけでなく「証拠不十分」や「ミスリーディング」といったきめ細やかな判定の実現、信頼スコアの可視化、そして公的機関などの一次ソースを優先するフィルタリング機能など、より実務に耐えうる機能の拡充を進めてまいります。
今回開発したモデルは Hugging Face で公開していますので、ぜひ皆様の環境でも動かしていただき、フィードバックをいただければ幸いです。
NABLASのR&D事業部では、この領域に関するサービス開発をしたいPdM志望の方をはじめ、リサーチエンジニア、構築運用保守、データセットマネジメント、インフラエンジニア、PMの募集もしています。話を聞いてみたい方、直接応募したい方は、ぜひこちらのオープンポジションよりお声がけくださいませ。
また、今回ご紹介したLLMおよびAIエージェントに興味のある会社様の募集も行っています。無料相談を行っていますので、まずはこちら（問い合わせ種別：R&D（AI技術開発）に関するお問い合わせ）よりお問い合わせください。
