OpenAI 正在重組其模型行為(Model Behavior)團隊。據(jù)媒體日前報道,OpenAI 的首席研究官 Mark Chen 透露,大約由14名研究人員組成的模型行為團隊將加入后訓練(Post Training)團隊,負責在模型完成預訓練后持續(xù)改進。
模型行為團隊已經(jīng)成為OpenAI的關鍵研究小組之一,主要負責塑造模型的“性格”。今年8月推出的GPT-5減少了類似“諂媚”“過度迎合用戶”的現(xiàn)象。
但部分用戶強烈不滿GPT-5的性格調(diào)整,認為其過于冷淡。最終,OpenAI 重新開放了對 GPT-4o 等舊模型的訪問,并更新 GPT-5,使其回答在保持獨立性的同時更溫和、友好。
OpenAI近期也在最新研究中討論如何減少大模型幻覺問題,讓模型變得越來越聰明。OpenAI認為,大語言模型之所以會產(chǎn)生幻覺,是因為標準的訓練和評估程序更傾向于對猜測進行獎勵,而不是在模型勇于承認不確定時給予獎勵。大多數(shù)評估方式只關注模型答對的比例,鼓勵模型進行猜測,而忽略了“承認不知道”也是一種合理反應。例如,當模型被問及某人的生日,如果它隨意猜測一個日期,那么它有1/365的概率猜對,而留空則肯定得零分。大型語言模型本質(zhì)上總是處于“考試模式”,回答問題時似乎只有正確或錯誤,黑色或白色。因此,OpenAI提出了一個簡單的解決方案:對自信的錯誤回答施加更重的懲罰,而對表達不確定性的行為給予部分分數(shù)。
關于我們|版權聲明| 違法和不良信息舉報電話:010-84151598 | 網(wǎng)絡敲詐和有償刪帖舉報電話:010-84151598
Copyright ? 2008-2024 by {當前域名}. all rights reserved