この記事の途中に、以下の記事の引用を含んでいます。
📰 SotA ARC-AGI-2 Results with REPL Agents
真の知能テストへ挑む：ARC-AGI-2とエージェント技術が目指すもの
本記事は、AI推論能力の最高峰ベンチマーク「ARC-AGI-2」において、Symbolica社が開発したエージェントフレームワーク「Agentica」が従来の手法を大きく凌駕する成果を挙げたことを詳細に報告しています。
この内容は、単なるAIスコア競争を超え、「AIがどのように“賢く”なりうるのか」「エージェント的推論や再帰的思考がAI能力の本質をどこまで発展させ得るのか」といった根源的議論への扉を開くものです。
この記事はAIやソフトウェア開発に携わる技術者・研究者はもちろん、現在のAI技術潮流を肌で感じたいすべての方にとって示唆に富む内容となっています。
驚異のスコア更新──Agenticaの実装が記録した最先端
記事中の主張でまず注目すべきは、Agenticaフレームワークが実現したARC-AGI-2でのスコア上昇です。
“Our implementation achieves a score of 85.28% with Opus 4.6 (120k) High and increase the scores of GPT 5.2 (XHigh) and Opus 4.5 by 10 and 20 percentage points respectively. The agent is 350 lines of Python and uses the Agentica framework.”
このように、最先端のLLM（Large Language Model）に、たった350行程度のPythonエージェント機構を組み合わせただけで、
Opus 4.6（Anthropic）が85.28%、GPT 5.2（OpenAI）も10pt.向上など、従来（Chain of Thoughtなど）では到達不可能だった高みへ一気に到達したと報告されています。
記事では体系的なコスト比較や、エージェント型アプローチの詳細な利点・制約が検討されており、ここでの成果が単なる“チューニング”ではなく、AI推論戦略へのパラダイム・シフトだという強烈な主張が込められていました。
なぜ“エージェント＋REPL”が推論力を高めるのか──進化したAIの「試行錯誤能力」
ベンチマーク：ARC-AGIとは何か
ARC-AGI（Abstraction and Reasoning Corpus for Artificial General Intelligence）は、2019年に登場したAI界屈指の「人間並み知能テスト」です。
表層的な知識や単純なパターン暗記では到底太刀打ちできず、「未知のパターン抽象化→一般則発見→新規問題への適用」といった“本質的な推論力と柔軟性”が求められます。
2025年版のARC-AGI-2では、より難解なタスク・大規模データセットが追加され、各社の最新LLMを次々撃沈。
「AIの知能的限界」を測る事実上の金字塔となっています。
従来手法との違い
ARC-AGI初期は、モデル本体で解こうとすると“正答率は一桁％”という惨憺たる成績でした。
しかし「Chain of Thought（思考プロセスを言語で明示しながらコード生成）」の登場で、スコアは一気に数十ポイント上昇します。
“Chain‑of‑thought prompting pushed scores substantially higher (Figure 2).
More recently, refinement approaches have driven further gains, turning ARC‑AGI‑2 into a testing ground for new harnesses and agentic loops.”
ただしこのアプローチには限界がありました。
モデルは逐次的に“思考→コード生成”を繰り返すものの、本質的な試行錯誤（答えのフィードバックに基づく再考）、より複雑な課題分割、部分的な仮説検証などは苦手でした。
ここでAgenticaのような「エージェント＋REPL（プログラム実行環境）」が登場します。
REPL型エージェントがもたらす革新
Agenticaは、エージェント（AI）が「自身のコード実行空間」を持ち、状況に応じて
– ユーザー定義オブジェクトの生成/利用
– メモリ上オブジェクトの維持・変更
– コード実行→失敗→前提修正→再実行
– 必要に応じてサブエージェントへの再帰的な“課題分解・委譲”
といった自己完結的なループを構築できるのが特徴です。
“This persistent REPL allows agents to:
- Use tools in a more complex manner than schema-based tool calls allow
- Keep and mutate objects in memory
- Interleave reasoning and execution in one persistent workspace”
この「即時実行・フィードバック反映・仮説分割・再利用」といった一連のループこそ、人間の知能的推論を模しており、一般化・頑健な推論を支えます。
再帰型のプロセスとは
さらにAgenticaは「Recursive Language Models（RLM）」的手法として、エージェント自身が“課題に応じて適宜サブエージェントを生成→部分問題→結果の統合”
というダイナミックな再帰分割も自動化しています。
“Recursive delegation in the style of RLMs is a key differentiating capability. An agent can spawn sub-agents for specific subtasks and pass only the relevant state into their REPL, as needed. This distributes context across sub-agents, avoiding context rot.”
これにより巨大モデルを使った場合でも“文脈の腐敗（context rot）”を防ぎつつ、複雑な問題を整理しやすくしています。
この仕組みの一般性・柔軟性は、もはや特定領域用のカスタムAIとは別次元です。
圧倒的な数値インパクト──実際にどこまで進化したのか？
記事では各種モデルへの適用結果も詳細に分析されています。
重要な3つのケースを整理します。
1. 最高性能のOpus 4.6 (Anthropic)
“Our implementation achieved a score of 85.28% at $6.94 per task compared to 79.03% at $3.81 per task. The average number of agents used per task attempt was 2.6.”
単純なChain of Thoughtベースで79.03%だったものが、Agenticaフレームワークだけで一気に85.28%まで伸びています。
コストは若干上がったものの、1問あたり2～3エージェントの自律ループでこの結果は驚異的。
2. OpenAI GPT 5.2 (XHigh)
“Our implementation achieved a score of 70.27% at $5.03 per task compared to 59.81% at $2.05 per task.”
こちらもスコアが10ポイント近く上昇。ARC-AGI-2で60%を超えることは極めて難しく、「Agentica導入」による進化の明確な証拠といえます。
3. Opus 4.5（旧型モデル）
“Our implementation achieved a score of 49.58% at $10.40 per task compared to 28.15% at $1.37 per task.”
意外に「旧型モデルでも十分に伸びる」ことにも注目。
エージェント的ループ実装の概念がいかに“モデル依存でなく本質的な推論支援”であるかを物語っています。
ーーー
これらは単なる派手な数字ではなく「人間の推論・思考分割」を部分的に模倣できた証明であり、
今後さらなる汎用化や効率化が進めば、“特定タスク用AI”から“汎用AI”への移行が現実化していくことを強く示唆しています。
限界と課題──「万能型推論」はまだ遠い？
当然ながら、この方法にも現実的な制約や今後の課題が指摘されています。
記事が警鐘を鳴らすのは「モデル&エージェント設計の相互依存性」や「戦略の汎用性・移植性の不足」などです。
“Most refinement harnesses encode domain-specific assumptions in the strategy itself, whether that be natural language feedback in an outer loop or the inclusion of multi-modality.”
このように“特定手法のための外部フィードバック”や“マルチモーダル設計への依存”、
さらに多くのエージェント実装が「最初に全体フローを固定」してしまっているため、動的な深さや幅（Depth/Width）の選択が自律的にできない、などが問題視されています。
Agenticaはこれに「持続型REPL」「再帰的課題分割」「動的な幅・深さ選択」を付与することで克服を目指していますが、
現実には以下のような未解決課題も残ります。
- 計算資源・コスト負担（コストが数倍になるケースも）
- モデル側の“未完の思考過程”への過度依存
- クロスドメインな一般化戦略の未成熟
- 複雑多層型エージェント制御によるデバッグ難易度上昇
こうした課題を単なるチューニングで解決するのは難しく、まさに“AGI的研究”の最前線そのものです。
私見：現時点の評価・今後のインパクト
ARC-AGI系タスクの現状は、まさにAI推論の“少数精鋭研究者たちの知恵比べ”の様相を呈しています。
その中でAgenticaが打ち出した「モデル本体は変えずに、REPL型エージェントで推論戦略だけを鍛える」というアプローチは、
次のような点で高く評価できるでしょう。
- AIの“知能”を“ルール記述力＋動的試行錯誤”で向上させる実験性
- モデル／エージェントの分離＝新旧LLMの再活用や汎用性を担保できる点
- 巨大モデルによる「context rot」問題解消（階層分割）という現場的メリット
- 再帰的思考・仮説分割・動的解決…人間の推論フローへ一歩近づく設計思想
今後、この種の「エージェント型AI」は以下のような分野で特に威力を発揮すると期待されます。
- ソフトウェア自動開発（自然言語→コード生成→デバッグまで自己完結）
- 科学的課題発見・仮説検証の支援
- 極めて複雑な多段階推論が必要な業務フローの自動化
- 未知パターン認識力が重視される創造系タスク──など
もちろん「民生用への気軽な応用」にはコストや現場運用上の壁も残りますが、“知的プロセスの一般化・自動化”というテーマにおいて大きな飛躍が始まった印象です。
まとめ──「試行錯誤のできるエージェント」がAIの決定打になる日
Symbolica社のAgenticaフレームワークは、
「AIが自分で“考え→試し→フィードバックを受け→修正する”」という、人間に近い学習・思考様式をAI界の主戦場であるARC-AGI-2で部分的に実現したと言えます。
記事の主張どおり、
“This project aims to be a first step in tackling reasoning problems using a domain-agnostic strategy, allowing agents access to a stateful REPL with which they can dynamically and autonomously explore each domain with both depth and width.”
とある通り、特定用途向けの“きめうちモデル戦略”から脱却し、
「推論プロセス自体も“汎化”する」という発想は、今後AIの応用シーンや開発体験を大きく変えていく可能性を秘めています。
読者への示唆
今後AIと関わるすべての開発者・研究者、あるいはAIを活用して業務改革・創造に挑む方々にとって
「モデルの精度だけでなく、“推論フレームワーク＆試行錯誤能力”の設計こそが差を生む時代」という認識こそ強く持つべきでしょう。
また本記事はオープンソースのAgenticaコードやPython/TypeScript SDKの存在も示しており、
アイディア次第では一般開発者も次世代AI技術の一端に触れることができる時代が来たとも言えます。
“LLMの限界”や“AIによる本質的思考”について関心ある方は、このAgenticaやARC-AGIエコシステムをぜひウォッチしてみることをおすすめします。
categories:[science,technology,学習・スキル]
コメント