人工智能（AI），特別是像 GPT-4 這樣的大語(yǔ)言模型（LLM），在推理任務(wù)上表現出了令人印象深刻的性能。
但這些 AI 真正實(shí)現了對抽象概念的l理解嗎？抑或是僅僅停留在了模式模仿層面？
最近，阿姆斯特丹大學(xué)和圣塔菲研究所的一項新研究表明，雖然 GPT 模型在一些推理類(lèi)比任務(wù)中表現良好，但當問(wèn)題發(fā)生改變時(shí)，它們就不行了，這突出了 AI 推理能力的關(guān)鍵弱點(diǎn)。
類(lèi)比推理是根據兩個(gè)不同事物在某些方面的相似性來(lái)進(jìn)行比較的能力。這是人類(lèi)試圖了解世界和做出決定的最常見(jiàn)的方法之一。
舉個(gè)類(lèi)比推理的例子：杯子之于咖啡，就像湯之于碗。從杯子與咖啡的關(guān)系，類(lèi)比推理出與湯具有類(lèi)似關(guān)系的是碗。
像 GPT-4 這樣的大語(yǔ)言模型在各種測試中表現良好，包括那些需要類(lèi)比推理的測試。但是，AI 真的可以進(jìn)行通用的、穩健（魯棒性）的推理嗎？還是過(guò)度依賴(lài)于訓練數據中的模式？
阿姆斯特丹大學(xué)的 Martha Lewis 與圣塔菲研究所的 Melanie Mitchell 在這項研究檢查了 GPT 模型（GPT-3、GPT-3.5、GPT-4）在進(jìn)行類(lèi)比推理時(shí)是否像人類(lèi)一樣靈活和穩健。考慮到 AI 在顯示世界中被越來(lái)越多地應用于決策和解決問(wèn)題，因此，AI 的類(lèi)比推理能力顯得尤為重要。
他們比較了人類(lèi)與 GPT 模型在三種不同類(lèi)型的類(lèi)比問(wèn)題中的表現：
● 字母字符串類(lèi)比——測試對字母序列變換規則的推理；
● 數字矩陣推理——分析數字矩陣模式并補全其中缺失的數字；
● 故事類(lèi)比——理解兩個(gè)故事中的哪一個(gè)更符合給定的例子故事。
除了測試 GPT 模型是否可以理解原始問(wèn)題外，該研究還測試了當問(wèn)題被微妙修改時(shí)，它們的表現如何。例如，在字母字符串類(lèi)比中，將打亂的字母順序作為新字母表，或使用非字母符號代替字母；在數字矩陣推理中，隨機放置缺失的數字位置，或用符號代替數字；在故事類(lèi)比中，調換答案順序，或保持故事的因果結構但改變表達內容。
論文作者指出，一個(gè)能夠真正理解類(lèi)比推理的系統應該即使面對這些變化也能保持高性能。
結果顯示，在字母字符串類(lèi)比中，對于簡(jiǎn)單類(lèi)比，無(wú)論問(wèn)題是否被修改，人類(lèi)的正確率穩定在 75% 左右，而 GPT 在問(wèn)題被修改后正確率顯著(zhù)下降，例如，GPT 從 45% 下降至 35%。對于復雜類(lèi)比，人類(lèi)和 GPT 表現都比較差，但人類(lèi)仍?xún)?yōu)于 GPT。
在數字矩陣推理中，隨機放置缺失的數字位置，人類(lèi)的正確率穩定在 77% 左右，而 GPT 則顯著(zhù)下降，例如，GPT-4 從 81% 下降至 48%。但符號代替數字后，人類(lèi)和 GPT 均未產(chǎn)生顯著(zhù)變化。
在故事類(lèi)比中，GPT 模型更傾向于選擇第一個(gè)給定的答案作為正確答案，而人類(lèi)不受答案順序的影響。此外，當故事的關(guān)鍵元素被改寫(xiě)時(shí)，GPT 表現的比人類(lèi)更吃力，這表明 GPT 依賴(lài)于表面的相似性，而不是更深層的因果推理。
論文作者認為，這表明了 AI 的推理通常不如人類(lèi)靈活，它們的推理與真正的抽象理解無(wú)關(guān)，而是更多地進(jìn)行模式匹配。
之前一個(gè)廣泛的假設是，即像 GPT-4 這樣的人工智能模型具有涌現類(lèi)比推理能力，可以像人類(lèi)一樣推理，而這項研究表明事實(shí)并非如此，并指出了其推理的脆弱性。
雖然 AI 展示了令人印象深刻的能力，但這并不意味著(zhù)它們真正理解自己在做什么，它們在各種變化中的泛化能力仍然遠遠弱于人類(lèi)的認知能力，GPT 模型通常依賴(lài)于表面模式，而不是深度理解。這也提醒了我們，AI 可以成為一個(gè)強大的工具，但它還不能取代人類(lèi)的思維和推理。因此，在教育、法律以及醫療等重要決策領(lǐng)域，使用 AI 需要慎重。
論文鏈接：https://arxiv.org/abs/2411.14215
合作咨詢(xún)
肖女士
021-33392297
Kelly.Xiao@imsinoexpo.com
2006-2025 上海博華國際展覽有限公司版權所有（保留一切權利）
滬ICP備05034851號-57
