澳鵬數據發布ExamOCRBench：以端到端整頁判分基準檢驗多模态模型真實能力
/朝聞通/當前，大模型在一系列高難度任務上已展現突破性能力：數學推理上，可輔助驗證菲爾茲獎級猜想;科研寫作上，可産出達到學位論文水準的文本;分子科學上，可在數秒内推演候選化合物結構。在多模态方向，大模型同樣進展迅速，在OCR、文檔解析等視覺文檔理解任務上的表現已接近甚至超過實用水平。然而澳鵬數據最新評測顯示：在批改一張小學三年級試卷這一基礎任務上，五款主流模型的整頁判分準确率僅為 33.22%–58.18%，這表明高階推理能力并未線性遷移至真實世界的文檔理解場景。
多模态模型在文字識别、文檔解析等單項任務上持續進步，但教育場景對模型提出的是一體化要求：從一張完整試卷中讀懂題目、識别學生真實作答、依據頁面證據完成判分。現有評測難以系統檢驗這一端到端能力。聚焦這一挑戰，澳鵬數據正式發布ExamOCRBench——一個以端到端整頁判分為核心的多任務評測基準，為教育AI的能力評估提供更貼近真實課堂的檢驗框架。
澳鵬數據ExamOCRBench：以端到端整頁判分為核心的多任務評測基準
端到端整頁判分：單項能力基準與複合任務的差距
過去數年間，多模态模型在文字識别、版面理解、目标定位、視覺問答等單項基準上持續刷新紀錄，自動批改亦成為教育科技領域的活躍研究方向。但真實批改與單項能力測試之間存在結構性差異：在判斷一道題的答案是否正确之前，模型必須先定位對應問題，識别學生的最終有效作答，區分廢棄内容與有效内容，并理解作答上下文。這一鍊路中任一環節出錯，都會導緻判分偏差。
更為隐蔽的風險在于：模型可能默認修正學生的拼寫錯誤、将劃掉的答案視為有效作答，或在聽力音頻等關鍵證據缺失時強行判分。核心問題不在于模型能否求解題目，而在于能否正确維系"題目 - 學生最終作答 - 判分決定"三者間的邏輯關系。
真實試卷構建：整頁全對仍是模型短闆
澳鵬ExamOCRBench基于中國小學2.464套真實試卷頁面構建，覆蓋語文、數學、英語三個學科，包含不同拍攝條件、手寫塗改、不完整作答與複雜布局。判分任務關聯22.636個小題，以語言文字填空、選擇題、簡答或解答題為主，覆蓋十類細分題型。标注采用頁面、大題、小題、答題區域的層級結構，忠實保留學生最終可見答案，包括拼寫錯誤與塗改痕迹。參考答案經人工核驗與多階段質檢後形成标簽。共享頁面共派生24.928個任務實例。
基準核心指标PageScoreAccuracy要求頁面内所有可正常判分單元全部判對，一處出錯即整頁不計為正确。在參與評測的五個模型中，GPT-6 Astra以58.18%領先，GPT-5.6 Sol為53.41%，Qwen3.8-Max、Claude Opus 5和Doubao-Seed-2.1-Pro分别為42.32%、36.75%和33.22%。表現最好的模型仍有四成以上頁面無法做到全部判對，這一結果印證了真實、複雜的課堂場景給當前多模态模型帶來的實質性挑戰;SafetyUnitRecall進一步檢驗模型能否在内容缺失等條件下拒絕判分，當前最高召回率為41.04%，同樣顯示出模型能力仍有較大提升空間。
參與評測的五個主流模型：即使表現最好的模型仍有四成以上頁面無法做到全部判對
多項診斷任務拆解端到端判分難點
澳鵬ExamOCRBench設置結構解析、内容定位與手寫文本識别三項獨立診斷任務，分别檢驗模型能否理清題目與作答的層級關系、能否在整頁中精準定位目标證據、能否忠實還原學生筆迹。診斷結果呈現明顯分化：GPT-5.6 Sol整頁判分排名第二，手寫識别完全匹配率卻最低;Qwen手寫識别完全匹配率最高，判分準确率為42.32%。這說明判分能力與識别能力并不同步，答案推理與忠實轉寫是兩種需要分開觀察的能力。
另一項值得關注的發現是模型普遍缺乏棄權能力：五款模型的無依據批改率高達 58.96%-91.94%。在證據不足時識别并拒絕作答，是可靠模型應具備的重要能力。對教育場景而言，将錯拼補全為正确單詞、或将模糊筆迹替換為符合題意的答案，都可能掩蓋真實錯誤。
為什麼整頁判分仍然困難?澳鵬ExamOCRBench用三項診斷任務拆開觀察
為教育
澳鵬ExamOCRBench的價值在于将評測貼近一張真實試卷從識别到判分的完整過程。面向智能批改、作業數字化、錯題整理與個性化學習反饋等應用，該基準為教育産品選型提供貼近學生真實作答的觀察視角，并将最終判分表現與結構理解、内容定位、手寫識别相聯系，為模型研發提供有針對性的數據建設與能力訓練方向。目前，澳鵬ExamOCRBench已在GitHub與Hugging Face平台全面開源。
澳鵬ExamOCRBench的發布是澳鵬在高質量教輔試題數據建設上的重要實踐之一。目前，澳鵬已沉澱覆蓋K12、大學/研究生、競賽等多學段、多類型的教輔試題數據集，可支撐大模型學科微調、解題評測與教育AI研發等應用場景。未來，澳鵬ExamOCRBench将持續擴展學科與年級覆蓋，深化對塗改、多步推導、圖文混合與開放式表達等複雜作答的理解，推動評測結果更好地服務智能批改與學習反饋等實際應用落地。
THE END
廣告、内容合作請點擊這裡尋求合作
免責聲明：本文系轉載，版權歸原作者所有;旨在傳遞信息，不代表砍柴網的觀點和立場。
