這項由中國科學技術(shù)大學深圳校區(qū)、深圳大數(shù)據(jù)研究院和阿里巴巴Qwen團隊聯(lián)合完成的研究發(fā)表于2025年1月，論文題目為《RealCritic: Towards Effectiveness-Driven Evaluation of Language Model Critiques》。有興趣深入了解的讀者可以通過項目地址https://github.com/tangzhy/RealCritic訪問完整研究內(nèi)容和相關(guān)代碼數(shù)據(jù)。

這是一個關(guān)于AI如何給自己或其他AI"改作業(yè)"的故事。就像我們在學校時，老師經(jīng)常讓同學互相檢查作業(yè)、指出錯誤并給出修改建議一樣，現(xiàn)在研究人員也希望AI大模型能夠具備這種"批評"能力——不僅要會做題，還要會發(fā)現(xiàn)別人做題時的錯誤，并提出正確的修改方案。

然而，研究團隊發(fā)現(xiàn)了一個令人意外的現(xiàn)象：盡管許多AI模型在直接解題方面表現(xiàn)相當不錯，但當涉及到批評和改正錯誤時，它們的表現(xiàn)卻令人失望。更有趣的是，OpenAI的o1-mini模型在這方面顯示出了明顯的優(yōu)勢，這引發(fā)了研究團隊的深入思考。

為了系統(tǒng)性地研究這個問題，研究團隊開發(fā)了一個名為RealCritic的全新評估框架。這個框架的獨特之處在于，它不僅僅看AI能否指出錯誤，更重要的是看AI的批評建議是否真的能幫助產(chǎn)生更好的答案。就好比一個好的作文批改老師，不僅要能發(fā)現(xiàn)學生作文中的問題，還要給出的修改建議真正能讓作文變得更好。

一、現(xiàn)有評估方法的致命缺陷

在深入了解新研究之前，我們需要先明白現(xiàn)有評估方法存在什么問題。目前主流的AI批評能力評估方法就像是讓學生當老師批改作業(yè)，但評判標準卻有致命缺陷。

想象這樣一個場景：小明做了一道數(shù)學題，得出了錯誤答案?，F(xiàn)在讓AI老師來批改，AI需要判斷這個答案是對還是錯，并給出分析。按照現(xiàn)有的評估方法，只要AI正確地判斷出"這個答案是錯的"，就認為這是一次成功的批評，不管AI給出的分析和修改建議是否合理。

這就產(chǎn)生了一個嚴重問題：AI可能憑直覺或其他方式猜對了答案的對錯，但它給出的分析過程可能完全錯誤，甚至會誤導(dǎo)學生。就像一個老師雖然能判斷學生答案是錯的，但給出的錯誤原因分析和修改建議卻是錯誤的，這樣的"批評"不僅沒有幫助，反而可能造成更大的混亂。

研究團隊通過人工評估發(fā)現(xiàn)，現(xiàn)有評估基準CriticBench存在高達30%的誤判率——也就是說，有30%被標記為"高質(zhì)量"的批評實際上是低質(zhì)量的。這個發(fā)現(xiàn)讓研究團隊意識到，傳統(tǒng)的"開環(huán)式"評估方法存在根本性缺陷。

所謂"開環(huán)式"評估，就像是只看醫(yī)生的診斷是否準確，卻不關(guān)心患者吃了醫(yī)生開的藥之后病情是否真的好轉(zhuǎn)。而理想的評估應(yīng)該是"閉環(huán)式"的——不僅要看診斷準確性，更要看治療效果。

二、RealCritic框架：從結(jié)果倒推批評質(zhì)量

研究團隊提出的RealCritic框架采用了一種全新的思路：不是直接評判批評本身的質(zhì)量，而是看批評建議是否真的能產(chǎn)生更好的結(jié)果。這就像評價一個醫(yī)生的水平，最好的方法不是看他說得多專業(yè)，而是看病人按照他的建議治療后是否真的康復(fù)了。

具體來說，這個框架的工作流程是這樣的：首先給AI一個包含錯誤的解題過程，讓AI找出錯誤并給出修改建議，然后按照AI的建議重新解題，最后看新的答案是否比原來更準確。如果AI的批評建議真的幫助產(chǎn)生了正確答案，那就說明這是高質(zhì)量的批評；如果建議后的答案還是錯的，甚至比原來更糟，那就說明批評質(zhì)量不佳。

這種方法的巧妙之處在于，它完全繞過了"什么是好批評"這個主觀判斷問題，而是用客觀的結(jié)果來衡量。就像評價一個導(dǎo)航軟件好不好，不是看它的界面多漂亮或功能多復(fù)雜，而是看它是否真的能帶你準確到達目的地。

為了確保評估的公正性，研究團隊還設(shè)計了嚴格的檢查機制，防止AI"投機取巧"——比如不是真正批評原答案，而是直接重新解題。他們設(shè)計了專門的提示詞和后處理檢查，確保AI確實是在進行批評-修正的完整流程。

三、三種批評模式的深入考察

研究團隊設(shè)計了三種不同的批評模式來全面評估AI的批評能力，每種模式都反映了現(xiàn)實應(yīng)用中的不同場景。

第一種是自我批評模式，就像讓學生檢查自己的作業(yè)。AI首先解答一道題目，然后回過頭來批評自己的答案，找出其中可能存在的錯誤并進行修正。這種能力在現(xiàn)實中非常有用，就像我們寫完文章后會反復(fù)檢查修改一樣。然而，這種模式也存在天然的局限性——AI很難跳出自己的思維框架去發(fā)現(xiàn)自己的錯誤，就像很多人很難發(fā)現(xiàn)自己文章中的邏輯漏洞一樣。

第二種是交叉批評模式，相當于讓一個AI去批評另一個AI的答案。這種模式的優(yōu)勢在于，批評者沒有參與原始解題過程，因此更容易保持客觀立場發(fā)現(xiàn)問題。就像找別人幫忙校對文章，往往能發(fā)現(xiàn)自己看不出來的錯誤。不過，這種模式要求批評者能夠理解和適應(yīng)不同的解題風格和思路。

第三種是迭代批評模式，模擬了多輪批評-修正的過程。就像論文的反復(fù)修改過程，作者根據(jù)審稿人的意見修改，然后審稿人再次審查，如此循環(huán)直到達到滿意的質(zhì)量。這種模式特別適合復(fù)雜問題的解決，因為很多錯誤可能需要多次迭代才能完全消除。

研究團隊特別強調(diào)了迭代批評的重要性，因為這正是o1系列模型的一個重要特征。這些先進模型在內(nèi)部就采用了多輪自我反思和修正的機制，這可能是它們在復(fù)雜推理任務(wù)上表現(xiàn)出色的關(guān)鍵原因。

四、八個挑戰(zhàn)性任務(wù)的精心設(shè)計

為了全面測試AI的批評能力，研究團隊精心挑選了8個具有不同難度層次和特點的任務(wù)類型。這些任務(wù)的選擇非常講究，既要有足夠的挑戰(zhàn)性，又要有明確的標準答案便于評估。

在數(shù)學推理方面，他們選擇了從基礎(chǔ)到高難度的五個數(shù)據(jù)集。GSM8K包含小學到中學水平的數(shù)學應(yīng)用題，就像"小明買蘋果"這類我們都很熟悉的題目類型。MATH數(shù)據(jù)集則涵蓋了高中到大學初年級的各種數(shù)學問題，包括代數(shù)、幾何、概率論等多個分支。College Math進一步提升了難度，包含大學數(shù)學課程中的復(fù)雜問題。

Minerva Math數(shù)據(jù)集專門收錄了需要復(fù)雜推理的數(shù)學問題，這些題目往往需要多步驟的邏輯推導(dǎo)。最具挑戰(zhàn)性的是Olympiad Bench，它包含了各種數(shù)學競賽中的題目，這類題目往往需要巧妙的解題技巧和深刻的數(shù)學洞察力。

在通用推理方面，研究團隊選擇了三個多選題數(shù)據(jù)集。ARC-Challenge專門收錄了需要復(fù)雜推理的科學問題，這些題目不僅考查知識儲備，更考查邏輯推理能力。MMLU-STEM涵蓋了科學、技術(shù)、工程、數(shù)學各個領(lǐng)域的專業(yè)問題。GPQA-diamond則是研究生級別的科學問題，難度極高，連專業(yè)研究人員都需要仔細思考才能解答。

這種數(shù)據(jù)集的設(shè)計確保了評估的全面性。不同難度的題目能夠區(qū)分出AI模型在不同復(fù)雜度下的批評能力，而不同領(lǐng)域的題目則能測試模型知識面的廣度和跨領(lǐng)域推理能力。

五、令人震撼的實驗結(jié)果

實驗結(jié)果揭示了一個令人意外的現(xiàn)象：在AI大模型的世界里，"會做題"和"會批評"竟然是兩種截然不同的能力。這個發(fā)現(xiàn)徹底顛覆了人們的直覺認知。

在直接解題能力方面，幾乎所有被測試的模型都表現(xiàn)得相當不錯。LLaMA-3.1-70B、Mistral-Large、Qwen2.5-72B等模型在基礎(chǔ)數(shù)學問題上的準確率都能達到80%以上，在一些領(lǐng)域甚至超過90%。這讓人覺得這些AI已經(jīng)相當聰明了。

然而，當要求這些模型進行自我批評時，情況發(fā)生了戲劇性的變化。除了o1-mini之外，幾乎所有模型的表現(xiàn)都出現(xiàn)了下降。LLaMA-3.1-70B的平均表現(xiàn)下降了4.3個百分點，Qwen2.5-72B-Math-Instruct下降了5.1個百分點，GPT-4o也下降了4.6個百分點。

這種下降意味著什么？簡單來說，這些AI不僅沒能通過自我批評改進答案，反而把原本正確的答案改錯了，或者把錯誤的答案改得更加錯誤。這就像一個學生本來做對了題，結(jié)果自己檢查時反而把答案改錯了。

更令人震驚的是，在專業(yè)領(lǐng)域如MMLU-STEM和GPQA任務(wù)上，一些模型的表現(xiàn)下降幅度高達35%。這說明在需要專業(yè)知識的復(fù)雜領(lǐng)域，AI的自我批評能力幾乎完全失效，不僅幫不上忙，反而起到了負面作用。

然而，o1-mini的表現(xiàn)卻與眾不同。它是唯一一個在自我批評模式下整體表現(xiàn)有所提升的模型，平均提高了3.3個百分點。更令人印象深刻的是，它在某些任務(wù)上的提升幅度高達24個百分點，這種差異是巨大的。

在交叉批評模式下，所有模型的表現(xiàn)都有所改善，但o1-mini依然保持著明顯的領(lǐng)先優(yōu)勢，平均提升了15.6個百分點，遠超其他模型。這表明o1-mini不僅能夠有效地批評自己，也能夠很好地批評其他AI的答案。

六、深層分析：為什么傳統(tǒng)模型在批評上表現(xiàn)糟糕

研究團隊進一步分析了實驗結(jié)果，試圖理解為什么大多數(shù)AI模型在批評任務(wù)上表現(xiàn)如此糟糕。他們將模型的表現(xiàn)分解為兩個關(guān)鍵指標：改錯能力和保持正確答案的能力。

改錯能力指的是AI能否將原本錯誤的答案通過批評和修正變成正確答案。保持能力則是AI能否在面對原本正確的答案時，通過批評確認其正確性而不會畫蛇添足地改錯。

分析結(jié)果顯示，傳統(tǒng)AI模型存在嚴重的不對稱性問題。在自我批評模式下，這些模型改錯的能力極其有限，通常只能改對不到5%的錯誤答案。但同時，它們卻頻繁地把原本正確的答案改錯，這種錯誤率經(jīng)常超過10%，在專業(yè)領(lǐng)域甚至高達30%以上。

這種現(xiàn)象可以用"過度自信"和"缺乏判斷力"來解釋。AI模型似乎對自己的每一個想法都很自信，當要求它們進行批評時，它們往往會找出一些并不存在的"問題"，然后進行不必要的修改。這就像一個缺乏經(jīng)驗的編輯，總是想要修改稿件中的每一個地方，結(jié)果往往越改越糟。

相比之下，o1-mini展現(xiàn)出了更加平衡的能力。它不僅能夠有效地識別和修正錯誤（在某些任務(wù)上改錯率達到25%以上），同時也能較好地保持正確答案不被誤改。雖然它在保持正確答案方面也存在一些問題，但總體來說，其改錯收益遠大于誤改損失。

在交叉批評模式下，所有模型的改錯能力都有顯著提升，這說明批評他人比批評自己要容易得多。在基礎(chǔ)數(shù)學任務(wù)如ARC和GSM8K上，模型們能將30-45%的錯誤答案改正，這是相當不錯的表現(xiàn)。但在專業(yè)領(lǐng)域，誤改正確答案的問題依然嚴重。

七、迭代批評：多輪對話的威力與限制

研究團隊還專門測試了迭代批評的效果，也就是讓AI進行多輪的批評-修正循環(huán)。這種模式模擬了現(xiàn)實中復(fù)雜問題解決的過程，就像科學研究中的反復(fù)實驗和改進。

實驗結(jié)果顯示，不同模型在迭代批評中表現(xiàn)出了截然不同的趨勢。LLaMA-3.1、Mistral-Large和Qwen2.5-72B-Math-Instruct在多輪迭代中表現(xiàn)出穩(wěn)定的下降趨勢，說明越批評越糟糕，就像一個人越想越糊涂。

Qwen2.5-72B-Instruct展現(xiàn)了令人驚訝的一致性，在多輪迭代中保持了相對穩(wěn)定的表現(xiàn)，既沒有明顯改善也沒有明顯惡化。這種穩(wěn)定性在某種程度上也是一種優(yōu)勢，至少不會因為過度思考而變得更糟。

GPT-4o的表現(xiàn)則比較復(fù)雜，在交叉批評中初期有所改善，但隨后出現(xiàn)下降，而在自我批評中則一直表現(xiàn)不佳。這種不穩(wěn)定的表現(xiàn)可能反映了模型內(nèi)部機制的某些限制。

o1-mini再次展現(xiàn)了其獨特的優(yōu)勢，在整個迭代過程中都能維持良好的改進效果，特別是在早期輪次中表現(xiàn)尤為出色。這種持續(xù)的改進能力正是o1系列模型的核心優(yōu)勢之一。

這些結(jié)果揭示了一個重要insight：并非所有的AI模型都適合進行迭代推理。對于大多數(shù)傳統(tǒng)模型來說，過多的自我反思可能會導(dǎo)致性能下降，而只有具備特殊架構(gòu)或訓(xùn)練方法的模型才能真正受益于迭代批評。

八、對純粹批評能力的單獨測試

為了更準確地評估AI的純粹批評能力，研究團隊還設(shè)計了一個特殊實驗：只給AI錯誤的答案，看它們能否成功修正。這相當于給學生一份全是錯題的試卷，看誰能改對最多。

在這個更加嚴格的測試中，模型之間的差異變得更加明顯。即使是表現(xiàn)最好的LLaMA-3.1-70B，在基礎(chǔ)任務(wù)上也只能達到80%左右的成功率，而在復(fù)雜任務(wù)上往往不到20%。這說明純粹的錯誤識別和修正確實是一項極其困難的任務(wù)。

更令人擔憂的是，大多數(shù)模型在專業(yè)領(lǐng)域的純批評任務(wù)中表現(xiàn)極差，成功率往往低于20%。這意味著如果我們想要AI在專業(yè)領(lǐng)域幫助我們檢查和改正錯誤，目前的技術(shù)水平還遠遠不夠。

這種差異可能源于訓(xùn)練數(shù)據(jù)和方法的根本性差異。傳統(tǒng)的AI模型主要是通過大量正確樣本的學習來掌握解題能力，但批評能力需要模型深刻理解錯誤的本質(zhì)和修正的方法，這需要完全不同的訓(xùn)練策略。

九、數(shù)據(jù)構(gòu)建的精巧設(shè)計

研究團隊在數(shù)據(jù)構(gòu)建方面展現(xiàn)了極高的專業(yè)水準。他們不是簡單地收集題目和答案，而是精心設(shè)計了一套復(fù)雜的數(shù)據(jù)生成和篩選流程。

首先，他們建立了一個包含多個開源模型的"答題者池"，包括不同規(guī)模的Qwen2.5系列、LLaMA-3.1系列和專門的數(shù)學模型DeepSeek-Math。這些模型在能力上有明顯差異，因此能夠產(chǎn)生不同質(zhì)量的解答。

在收集解答時，研究團隊采用了非常聰明的策略。對于錯誤答案，他們優(yōu)先選擇強模型的錯誤解答而不是弱模型的。這個選擇背后有深刻的考慮：強模型的錯誤通常包含更多的推理細節(jié)和部分正確的步驟，這為批評者提供了更豐富的信息，也創(chuàng)造了更有挑戰(zhàn)性的批評場景。

相反，對于正確答案，他們優(yōu)先選擇弱模型的正確解答。這是因為弱模型即使得出了正確答案，其推理過程往往包含一些模糊或不夠嚴謹?shù)牡胤剑@為批評者創(chuàng)造了更具挑戰(zhàn)性的場景——需要識別出哪些是真正的錯誤，哪些雖然表述不夠完美但不影響答案正確性。

這種精心設(shè)計確保了測試的公平性和挑戰(zhàn)性。如果只用弱模型的錯誤答案，批評任務(wù)可能過于簡單；如果只用強模型的正確答案，又可能過于困難。通過這種平衡的設(shè)計，研究團隊創(chuàng)造了一個既有挑戰(zhàn)性又公平的評估環(huán)境。

十、技術(shù)實現(xiàn)的嚴謹性

在技術(shù)實現(xiàn)方面，研究團隊展現(xiàn)了嚴謹?shù)目蒲袘B(tài)度。他們不僅設(shè)計了評估框架，還開發(fā)了完整的自動化工具鏈來確保實驗的可重復(fù)性和可靠性。

為了防止AI模型在批評任務(wù)中"投機取巧"——比如直接重新解題而不是真正進行批評，研究團隊設(shè)計了專門的檢查機制。他們使用另一個AI模型作為"監(jiān)考官"，專門檢查參與測試的AI是否真正按照批評-修正的流程進行。

這種檢查機制的設(shè)計頗具巧思。監(jiān)考AI會仔細分析整個批評過程，判斷是否存在以下違規(guī)行為：AI沒有遵循先批評后修正的順序，而是直接給出新解答；AI在批評過程中發(fā)現(xiàn)了錯誤但在修正時卻采用了完全不同的方法，沒有基于批評內(nèi)容進行修正。

為了驗證這種自動檢查的準確性，研究團隊還進行了人工驗證。他們隨機抽取了100個批評實例進行人工審查，發(fā)現(xiàn)自動檢查的準確率達到了98%，這證明了檢查機制的可靠性。

在模型部署方面，研究團隊采用了統(tǒng)一的參數(shù)設(shè)置來確保公平比較。所有開源模型都使用vLLM框架進行部署，采用相同的生成參數(shù)：溫度設(shè)置為0確保結(jié)果的確定性，最大token長度設(shè)置為2048。對于商業(yè)模型如GPT-4o，則使用官方API并遵循官方推薦的參數(shù)設(shè)置。

這種標準化的實驗設(shè)計確保了不同模型之間比較的公平性，也使得其他研究者能夠復(fù)現(xiàn)和驗證這些結(jié)果。

十一、深刻的理論洞察

這項研究不僅提供了實用的評估工具，更重要的是揭示了一些深刻的理論洞察，這些洞察對于理解AI的認知能力具有重要意義。

首先，研究證實了"生成能力"和"批評能力"是兩種根本不同的認知技能。這個發(fā)現(xiàn)挑戰(zhàn)了人們的直覺認知——通常我們認為能夠解決問題的人也應(yīng)該能夠有效地評價和改進解決方案。但在AI的世界里，這種假設(shè)顯然不成立。

這種分離可能源于訓(xùn)練機制的差異。傳統(tǒng)的語言模型主要通過模仿大量正確樣本來學習生成能力，但批評能力需要模型深入理解錯誤的本質(zhì)、比較不同方案的優(yōu)劣，并提出具體的改進建議。這些技能需要完全不同的訓(xùn)練策略和數(shù)據(jù)。

其次，研究揭示了"閉環(huán)評估"相比"開環(huán)評估"的根本優(yōu)勢。傳統(tǒng)的開環(huán)評估方法只關(guān)注中間過程（批評本身），而忽略了最終結(jié)果（是否真正改進了答案）。這就像評價醫(yī)生只看診斷報告而不看治療效果，評價教師只看教案而不看學生成績。

閉環(huán)評估的核心思想是"效果導(dǎo)向"——不管過程如何，最終以結(jié)果論英雄。這種評估方式更加貼近現(xiàn)實應(yīng)用場景，因為在實際應(yīng)用中，我們最關(guān)心的就是AI的建議是否真的有幫助。

第三，研究強調(diào)了"迭代推理"的重要性。o1-mini的優(yōu)異表現(xiàn)很大程度上歸功于其內(nèi)置的多輪反思機制。這種機制允許模型在給出最終答案之前進行多次內(nèi)部辯論和修正，這更接近人類專家解決復(fù)雜問題的思維過程。

這個發(fā)現(xiàn)對AI發(fā)展方向具有重要指導(dǎo)意義：未來的AI系統(tǒng)可能需要從單次推理轉(zhuǎn)向多輪迭代推理，從簡單的輸入-輸出模式轉(zhuǎn)向復(fù)雜的內(nèi)部對話模式。

十二、對AI發(fā)展的深遠影響

這項研究的意義遠遠超越了學術(shù)范圍，它對整個AI產(chǎn)業(yè)的發(fā)展都具有重要的指導(dǎo)價值。

從技術(shù)發(fā)展角度看，這項研究為AI能力評估提供了新的標準和方法。傳統(tǒng)的AI評估主要關(guān)注準確率、召回率等單一指標，但這項研究表明，我們需要更加綜合和動態(tài)的評估方式。未來的AI評估不僅要看模型能做什么，更要看模型能否幫助改進和優(yōu)化。

從產(chǎn)業(yè)應(yīng)用角度看，這項研究的發(fā)現(xiàn)對AI產(chǎn)品設(shè)計具有重要啟示。目前許多AI產(chǎn)品都宣稱具有"自我糾錯"或"智能優(yōu)化"功能，但這項研究顯示，大多數(shù)AI模型的這種能力實際上相當有限。產(chǎn)品設(shè)計者需要更加謹慎地設(shè)計這些功能，避免給用戶帶來負面體驗。

從用戶角度看，這項研究提醒我們不能盲目相信AI的"自我批評"能力。當AI主動指出某個答案可能有問題并提出修改建議時，用戶需要保持審慎態(tài)度，特別是在專業(yè)技術(shù)領(lǐng)域。

更重要的是，這項研究揭示了當前AI技術(shù)的一個重要局限：雖然AI在許多任務(wù)上表現(xiàn)出色，但在需要深度理解、判斷和改進的任務(wù)上仍然存在顯著不足。這種不足不僅是技術(shù)問題，更反映了當前AI訓(xùn)練方法和評估體系的局限性。

從研究方法論角度看，這項工作示范了如何設(shè)計更加科學和實用的AI評估方法。它不僅關(guān)注模型的靜態(tài)能力，更關(guān)注模型在動態(tài)交互中的表現(xiàn)；不僅關(guān)注單一任務(wù)的表現(xiàn)，更關(guān)注跨任務(wù)和跨領(lǐng)域的一致性；不僅關(guān)注短期表現(xiàn)，更關(guān)注長期的迭代改進能力。

說到底，這項研究給我們上了重要的一課：AI的智能是多維度的，不能用簡單的指標來衡量。一個在解題上表現(xiàn)出色的AI不一定具備良好的批評和改進能力，一個看起來"聰明"的AI可能在自我反思上表現(xiàn)糟糕。認識到這些差異對于正確使用和發(fā)展AI技術(shù)至關(guān)重要。

這項研究也預(yù)示著AI發(fā)展的新方向。未來的AI系統(tǒng)可能需要專門針對批評和改進能力進行設(shè)計和訓(xùn)練，而不是簡單地依賴規(guī)模擴大和數(shù)據(jù)增加。o1系列模型的成功表明，通過專門的架構(gòu)設(shè)計和訓(xùn)練方法，AI的批評能力是可以顯著改善的。

隨著AI技術(shù)的持續(xù)發(fā)展，我們有理由相信，未來會出現(xiàn)更多像o1-mini這樣具備強大批評和自我改進能力的AI系統(tǒng)。到那時，AI不僅是問題的解決者，更是改進和優(yōu)化的伙伴，這將為人類社會帶來更大的價值。不過，在那一天到來之前，我們?nèi)孕枰３掷硇院椭斏?，充分認識當前AI技術(shù)的局限性，合理規(guī)劃和使用這些強大的工具。

Q&A

Q1：RealCritic評估框架和傳統(tǒng)方法有什么不同？

A：RealCritic采用"閉環(huán)"評估方式，不是直接判斷AI的批評質(zhì)量，而是看AI的批評建議是否真的能產(chǎn)生更好的答案。就像評價醫(yī)生不只看診斷準確性，更要看治療效果。傳統(tǒng)方法只要AI能判斷答案對錯就算成功，但RealCritic要求AI的修改建議必須真正改善答案質(zhì)量。

Q2：為什么大部分AI模型在批評任務(wù)上表現(xiàn)這么差？

A：研究發(fā)現(xiàn)"會做題"和"會批評"是兩種完全不同的能力。傳統(tǒng)AI模型主要通過學習正確樣本掌握解題技能，但批評能力需要深入理解錯誤本質(zhì)和修正方法。大多數(shù)模型存在"過度自信"問題，經(jīng)常把正確答案改錯，改錯能力卻很有限，在專業(yè)領(lǐng)域尤其明顯。

Q3：o1-mini為什么在批評任務(wù)上表現(xiàn)這么突出？

A：o1-mini是唯一在自我批評中整體表現(xiàn)提升的模型，平均提高3.3個百分點，某些任務(wù)提升高達24個百分點。這主要歸功于其內(nèi)置的多輪反思機制，能夠進行多次內(nèi)部辯論和修正。它不僅改錯能力強，也能較好地保持正確答案不被誤改，展現(xiàn)出更平衡的批評判斷力。