OpenAI指模型不懂裝懂「幻覺」　源於機制獎勵猜測

【有線新聞】大型語言模型有時會給予錯誤答案，OpenAI近期的研究提出如何解決這個被稱為「幻覺」的問題，關鍵在於訓練模型懂得承認不知道答案，而非獎勵它「不懂裝懂」。

現時所有大型語言模型均無可避免存在「幻覺」問題，即自信地生成不實答案，OpenAI的研究指出部分原因在於現時衡量模型表現大多以準確度為主，即答中問題的百分比。以我們考試時回答多項選擇題為例子，即使不知道答案，亂猜仍有機會答中得分，不答則不會得分，所以長遠上開發人員會建立傾向鼓勵猜測，而非坦誠地稱不知道答案的模型。

但現實世界本來就有很多無法解答的問題，OpenAI認為如果AI稱對答案不肯定，亦應獲得部分分數，並建議修正獎罰機制，令AI在有一定把握時才回答，例如答中加1分、答錯扣3分，促使AI在信心水平逾75%才作答；並以旗下新模型為例子，雖然準確度略低於舊模型，但在沒有冒險猜測下錯誤率大幅降低。

由《論語》的「知之為知之，不知為不知」，至哲學家蘇格拉底的名言「我所知的是我一無所知」，人類的進步都是在於承認知識有限並三思問題，但有專家認為AI進行這類複雜思考以減少「幻覺」，將耗用更多運算能力，除非是不容有失的重要領域，如果只是回答無關痛癢的問題，將不符合成本效益。加上普通用家一般喜歡爽快及自信的答案，如果模型經常因有疑慮避而不答，很快便會被棄用，所以企業缺乏誘因響應OpenAI的模型研發方針。