AI 推理模型應用指南:o 系列、Claude Extended Thinking、Gemini Deep Think 完整解析
更新紀錄2026.09.25 更新:更正 o3 與 o4-mini 的淘汰時程、Deep Think 的 IMO 成績歸屬、DeepSeek-V4 上線情形與 SWE-bench 資料,並補充各家後續推出的新模型。
導讀
本篇解析 AI 推理模型的運作原理、2026 年 5 月主流模型的定價與 benchmark,以及適用與不適用的情境。核心判斷是:推理模型不是萬靈丹,應依任務複雜度與延遲容忍度分層選用。
六個帶得走的重點
- 先思考再回答推理模型在輸出答案前先產生內部推理 tokens,把運算成本從訓練階段部分轉移到推論階段。
- 輸出成本高出數倍輸出價格普遍是輸入的 5 至 8 倍,且 thinking tokens 全額計入輸出計費。
- 需要即時回應時不適合OpenAI 建議語音、快速資訊檢索等延遲關鍵且不需推理的任務,把 reasoning effort 設為 none。
- 指令宜簡短清晰傳統「think step by step」技巧對推理模型可能無效,簡短清晰的指令表現最佳。
- 推理過程未必忠實Anthropic 研究發現,模型可能反向虛構中間步驟以符合答案,稱為 motivated reasoning。
- 採依任務分層選用模型日常檢索用 Haiku、Flash、nano,複雜分析用 Sonnet、Pro,最關鍵任務才用旗艦模型。
2024 年底以來,「推理模型」(Reasoning Models)成為生成式 AI 的關鍵分水嶺。OpenAI o 系列、Anthropic Claude Extended Thinking、Google Gemini Deep Think 採用「推論時計算」(inference-time compute)讓 AI 在回答前先進行多步驟思考,大幅突破了過去的能力上限。本篇整理 2026 年 5 月最新的模型現況、benchmark 表現、定價策略、應用情境與限制,幫你判斷何時該用、何時別用。
什麼是推理模型?
推理模型與一般大型語言模型最大的差異,是在輸出最終答案前會先產生「內部推理 tokens」或「thinking blocks」,以多步驟、可回溯的方式拆解複雜問題。這相當於把運算成本從訓練階段部分轉移到推論階段,也就是業界所稱的「test-time compute scaling」。
OpenAI 官方對推理模型的定義是「幫助模型規劃、有效使用工具、檢查替代方案、從歧義中恢復、解決更困難的多步驟任務」,主要應用於複雜問題求解、科學推理、多步驟編碼與 agentic 工作流程。Anthropic 把同類能力稱為 Extended Thinking 或 Adaptive Thinking;Google DeepMind 則稱為 Deep Think,採用 parallel thinking 平行考慮多個假設後再回答。
Anthropic 在 visible extended thinking 研究中公開展示一項重要觀察:數學題正確率隨 thinking tokens 數量呈對數成長,也就是更多推理 token 會帶來邊際遞減但持續上升的品質。
2026 年主流推理模型現況
OpenAI:GPT-5.5、GPT-5.4 系列
OpenAI 於 2026 年 4 月 23 日發布 GPT-5.5(API 於隔日開放),為本文撰寫時的旗艦推理模型;ChatGPT 則於 5 月 5 日改以同系列的 GPT-5.5 Instant 作為所有使用者的預設模型。GPT-5.5 支援 reasoning effort 參數(none / low / medium / high / xhigh),讓開發者依需求調整思考深度。根據 OpenAI 的公告,GPT-5.5 在 Terminal-Bench 2.0 取得 82.7%、GDPval 84.9%,是發布時 agent 與長任務的領先選項之一。本文發布後,OpenAI 又於 7 月 9 日推出 GPT-5.6 系列(新增 max 等級),9 月 3 日推出新旗艦 GPT-6 Astra。
- GPT-5.5:Input $5、Output $30 / 1M tokens,1M context
- GPT-5.4:Input $2.50、Output $15 / 1M tokens
- GPT-5.4-mini:Input $0.75、Output $4.50 / 1M tokens
- GPT-5.4-nano:Input $0.20、Output $1.25 / 1M tokens
OpenAI 已宣布淘汰早期的 o 系列推理模型:o4-mini 預定於 2026 年 10 月 23 日、o3 與 o3-pro 預定於 12 月 11 日自 API 移除,官方建議改用 GPT-5 系列。
Anthropic:Claude Opus 4.7、Sonnet 4.6
Anthropic 於 2026 年 4 月 16 日發布 Claude Opus 4.7,思考模式只保留 Opus 4.6 起導入的「Adaptive Thinking」(由模型自行判斷思考深度),手動設定思考預算的 extended thinking 已不再支援。新增 xhigh effort 等級介於 high 與 max 之間;圖像輸入上限提升至 2,576 px 長邊(約 3.75 MP)。本文發布後,Anthropic 又陸續推出 Opus 4.8(5 月 28 日)、Claude Fable 5(6 月 9 日)、Opus 5(7 月 24 日)與 Opus 5.5(9 月 22 日)。
- Claude Opus 4.7:Input $5、Output $25 / 1M tokens,1M context;GitHub 的 93 項任務 coding benchmark 顯示解題率較 Opus 4.6 提升 13%
- Claude Sonnet 4.6:Input $3、Output $15 / 1M tokens,1M context(2026 年 3 月 13 日起正式支援,不再是 beta),發布時成為 claude.ai Free 與 Pro 方案的預設模型(2026 年 6 月 30 日起由 Sonnet 5 接替)
Anthropic 提供 prompt caching 最多 90% 折扣、batch 50% 折扣,對重複前綴的長期作業可大幅降低成本。
Google:Gemini 3.1 Pro、Deep Think
Google 於 2026 年 2 月 12 日推出 Gemini 3 Deep Think 的重大更新,2 月 19 日再發布 Gemini 3.1 Pro(預覽版);DeepMind 之後將 Deep Think 改建立在 3.1 Pro 之上,並改稱 Gemini 3.1 Deep Think。Deep Think 採用 parallel thinking 機制,在 Gemini App 提供給 Google AI Ultra 訂閱者,API 則只開放部分研究人員與企業申請使用。2026 年 2 月版的 Deep Think 在 Codeforces 取得 3455 Elo,IMO 2025 全部六題的自評得分為 81.5%(官方稱達金牌水準)。
- Gemini 3.1 Pro:Input $2、Output $12 / 1M tokens(≤200K),1M input
- Gemini 3 Flash:Input $0.50、Output $3 / 1M tokens
- Gemini 3.1 Flash-Lite:Input $0.25、Output $1.50 / 1M tokens
其他重要選項
- xAI Grok 4.3:Input $1.25、Output $2.50 / 1M tokens,內建 reasoning + function calling,1M context
- DeepSeek V4:2026 年 4 月 24 日推出 V4 預覽版,原本的 deepseek-reasoner 當天起改由 V4-Flash 的思考模式提供(Input $0.14、Output $0.28 / 1M tokens),低成本選擇;舊的 deepseek-reasoner 名稱依原定時程於 2026 年 7 月 24 日停用,目前官方定價頁已改列 deepseek-flash 與 deepseek-v4-pro
- Mistral Magistral:Mistral 首款推理模型,Small 24B 版本開源,支援含簡體中文在內的多語言推理;Magistral Medium AIME 2024 達 73.6%(single)、90.0%(majority@64)
2026 年 Benchmark 表現比較
從各家官方公告整理 2026 年 5 月主要 benchmark 領先狀況:
- GPQA Diamond(研究所等級科學問答):Gemini 3.1 Pro 94.3%,與 GPT-5.4 Pro(94.4%)、Claude Opus 4.7(94.2%)幾乎持平
- ARC-AGI-2(抽象推理):Gemini 3 Deep Think(2026 年 2 月版)84.6%(ARC Prize Verified)
- SWE-bench Verified(真實軟體工程任務):Claude Opus 4.7 87.6% 領先;Gemini 3.1 Pro 80.6%、Claude Opus 4.6 80.8%、Sonnet 4.6 79.6%(依 Anthropic 與 Google 公布資料)
- Terminal-Bench 2.0(終端機代理任務):GPT-5.5 82.7% 領先
- Codeforces(競賽程式碼):Gemini 3 Deep Think(2026 年 2 月版)3455 Elo
因 benchmark 更新頻繁,建議直接參考即時排行榜:ARC Prize Leaderboard 與 SWE-bench Verified Leaderboard。
適合使用推理模型的情境
OpenAI 官方建議的高價值任務包括:複雜問題求解與除錯、科學推理與研究、多步驟程式碼任務、需要規劃的 agentic 工作流程,以及「需要人類專家的領域:數學、科學、工程、金融服務、法律服務」。
已公開的實際成功案例:
- Rakuten-SWE-Bench:Claude Opus 4.7 解決的實務任務量為 Opus 4.6 之 3 倍
- CursorBench:Opus 4.7 通過率 70%,較 4.6 的 58% 顯著提升
- DeepSeek V3.2-Speciale:在 IMO、CMO、ICPC World Finals、IOI 2025 達金牌等級
- Gemini Deep Think:進階版於 2025 年 7 月在 IMO 2025 的 42 分中拿下 35 分,經大會評分達到金牌標準(8 月開放給訂閱者的較快公開版,依 Google 內部評估為銅牌水準)
- Anthropic Pokémon Red 實驗:具備 extended thinking 選項的 Claude 3.7 Sonnet 擊敗 3 位道館館主,早期的 Claude 3.0 Sonnet 則連起始小鎮的房子都走不出去
不適合使用推理模型的情境
OpenAI 官方文件的建議是:語音、快速資訊檢索、分類等延遲關鍵任務,若不需要推理,可把 reasoning effort 設為 none。none 正是為「不需推理或多段工具呼叫的延遲關鍵任務」設計;GPT-5.5 則建議先從 low 試起,必要時再改用 none。
常見的不適合情境:
- 簡單事實查詢、FAQ、內容檢索:一般 LLM 即可完成
- 即時對話、語音介面、串流互動:推理模型需要先思考再回答,延遲明顯較長
- 不需多步推理的格式轉換、摘要、翻譯:會浪費 thinking tokens
- 高頻、低利潤的批次任務:output 計費不划算,建議改用 Flash / mini / nano 級模型
值得注意的是,對推理模型而言,傳統「think step by step」prompt 技巧可能無效甚至降低品質。推理模型對簡短、清晰的指令表現最佳,通常不需要 few-shot 範例。
限制與失敗模式
Token 成本與延遲
推理模型 output 價格普遍為 input 的 5 至 8 倍(GPT-5.5 為 6×、Opus 4.7 為 5×、Gemini 3.1 Pro 為 6×),且 thinking tokens 全額計入 output 計費,即使預設只顯示摘要,仍按完整內部 token 數收費。任務常超過 5 分鐘,Anthropic 官方建議搭配 1-hour cache duration 使用。
Chain-of-Thought 不忠實
Anthropic 在 interpretability 研究中發現重要的失敗模式:「Claude 有時就只是想出一個答案,任何答案,不在乎是真是假」。模型聲稱「執行了計算」,但 interpretability 工具顯示內部根本沒有計算發生的證據。當被提供答案線索時,模型會反向虛構中間步驟以符合該答案,這稱為 motivated reasoning。
幻覺與引用編造
OpenAI 的 o1 system card(2024 年 9 月版,針對 o1-preview)顯示,約 0.8% 的回應被監測器標為「具欺騙性」,其中 0.56% 屬於幻覺,約三分之二(0.38%)為「有意的」:chain-of-thought 顯示模型自知答案錯誤但仍輸出。主要發生在被要求提供無法驗證的引用、網址、書籍時,模型會編造合理範例。使用者通常無法直接存取 CoT 原文,僅能取得摘要,使監控更為困難。
企業如何選擇與導入推理模型?
建議依任務切換不同模型,依任務特性切換:
- 盤點任務的推理需求:哪些任務真正需要多步推理?哪些只是格式轉換或檢索?
- 建立分層使用規則:日常檢索用 Haiku / Flash / nano,複雜分析用 Sonnet / Pro,最關鍵任務才用 Opus / GPT-5.5 / Deep Think
- 啟用 prompt caching:對於重複前綴的工作流程,Anthropic 提供高達 90% 折扣,可大幅降低長期成本
- 監控 thinking token 用量:定期檢視 output 計費結構,避免 over-thinking
- 建立輸出驗證機制:對於關鍵決策,保留人工複核或多模型交叉驗證,特別注意 CoT 不忠實的風險
結語
推理模型在 2026 年已成為大型語言模型的基本能力,但它不是萬靈丹:成本、延遲、不忠實推理都需要正視。最有效的策略是根據任務複雜度與延遲容忍度,建立分層的模型選擇規則,而不是把所有任務都丟給最強模型。
引用來源
展開 30 則引用來源收合引用來源
- OpenAI, “Reasoning Models Guide.”
- OpenAI, “OpenAI Models.”
- Anthropic, “Introducing Claude Opus 4.7.”
- Anthropic, “Introducing Claude Sonnet 4.6.”
- Anthropic, “Visible Extended Thinking.”
- Anthropic, “Extended Thinking Documentation.”
- Anthropic, “Tracing the Thoughts of a Large Language Model.”
- Google DeepMind, “Gemini Deep Think.”
- Google DeepMind, “Gemini 3.1 Pro Model Card.”
- Google AI, “Gemini API Pricing.”
- DeepSeek, “API Pricing Details.”
- Mistral AI, “Magistral.”
- xAI, “Grok 4.3 Model Documentation.”
- OpenAI, “Introducing GPT-5.5.”
- OpenAI, “Changelog.”
- OpenAI, “GPT-5.5 Instant: smarter, clearer, and more personalized.”
- OpenAI, “API Deprecations.”
- OpenAI, “Reasoning best practices.”
- OpenAI, “OpenAI o1 System Card.”
- Anthropic, “Claude Opus 4.6.”
- Anthropic, “Claude Platform release notes.”
- Anthropic, “Introducing Claude Sonnet 5.”
- Anthropic, “Claude Opus 4.8 System Card.”
- Google, “Gemini 3 Deep Think: Advancing science, research and engineering.”
- Google DeepMind, “Model Evaluation – Approach, Methodology & Results (Gemini 3 Deep Think).”
- Google DeepMind, “Model Evaluation – Approach, Methodology & Results (Gemini 3.1 Pro).”
- Google, “Try Deep Think in the Gemini app.”
- Google DeepMind, “Advanced version of Gemini with Deep Think officially achieves gold-medal standard at the International Mathematical Olympiad.”
- DeepSeek, “DeepSeek V4 Preview Release.”
- DeepSeek, “Models & Pricing.”
FAQ
常見問題
推理模型跟一般 GPT、Claude 模型有什麼差別?
推理模型在輸出答案前會先產生內部「thinking tokens」進行多步驟推論,適合複雜問題求解、數學、程式碼與規劃任務;一般 LLM 則直接輸出,速度快但複雜推理能力較弱。代價是推理模型的 output token 通常為 input 的 5 至 8 倍計費,且延遲明顯較長。
推理模型的費用真的會比較貴嗎?
是的。以 2026 年 5 月為例,GPT-5.5 為 $5 / $30 per 1M tokens(6× 比例)、Claude Opus 4.7 為 $5 / $25(5×)、Gemini 3.1 Pro 為 $2 / $12(6×)。Thinking tokens 全額計入 output 計費,即使預設只顯示摘要也按完整內部 token 收費,需特別注意成本控管。
哪些情境不該用推理模型?
OpenAI 官方文件建議,語音、快速資訊檢索、分類等延遲關鍵且不需推理的任務,可把 reasoning effort 設為 none。簡單事實查詢、FAQ、格式轉換、翻譯等不需多步推理的任務也是浪費。高頻、低利潤的批次任務則建議改用 Flash / mini / nano 等級模型。
OpenAI、Anthropic、Google 的推理模型該如何選擇?
依任務特性選擇(以 2026 年 5 月的版本為例):Agent 與長任務看 GPT-5.5;複雜程式碼、企業整合、長期 prompt 重用看 Claude Opus 4.7(cache 折扣可達 90%);抽象推理與數學競賽看 Gemini Deep Think;成本敏感或開源需求可考慮 DeepSeek V4 與 Mistral Magistral。
推理模型也會產生幻覺嗎?
會。OpenAI 的 o1 system card(針對 o1-preview)顯示,約 0.8% 的回應被標為具欺騙性,其中 0.56% 屬於幻覺,約三分之二是模型自知答案錯誤卻仍輸出,主要發生在被要求提供無法驗證的引用、網址或書籍時。Anthropic 研究也發現模型可能反向虛構中間步驟以符合答案,因此關鍵決策應保留人工複核或多模型交叉驗證。
使用推理模型時,prompt 要怎麼寫?
推理模型對簡短、清晰的指令表現最佳,通常不需要 few-shot 範例;傳統「think step by step」的 prompt 技巧可能無效,甚至降低品質。若任務不需要多步推理,例如格式轉換、摘要或翻譯,改用一般模型即可,避免浪費 thinking tokens。
企業如何控制推理模型的使用成本?
建議採用多模型分流:先盤點哪些任務真正需要多步推理,日常檢索用 Haiku、Flash、nano 級模型,複雜分析用 Sonnet、Pro,最關鍵任務才用旗艦推理模型。重複前綴的工作流程可啟用 prompt caching(Anthropic 最高 90% 折扣),並定期監控 thinking token 用量,避免 over-thinking。