近年來，人工智能技術(shù)的發(fā)展突飛猛進(jìn)。新技術(shù)的發(fā)展在推動(dòng)社會(huì)進(jìn)步的同時(shí)有時(shí)也會(huì)伴隨著悖論和陷阱。

??就在幾天前，打響這一輪大模型熱潮“第一槍”的OpenAI CEO奧爾特曼坦言，用戶對(duì)ChatGPT展現(xiàn)出的高度信任令他感到有些意外，并指出，人工智能并不完美，可能生成虛假或誤導(dǎo)性內(nèi)容，因此不應(yīng)被視為完全可信的工具。

??這無疑是給如火如荼的大模型熱潮澆了一盆冷水。近年來，各行各業(yè)都在“大干快上”大模型應(yīng)用，各種行業(yè)大模型層出不窮，大有“百模大戰(zhàn)”之勢(shì)。然而，過度依賴大模型的弊端也日漸顯現(xiàn)，如大模型幻覺導(dǎo)致的虛假信息頻現(xiàn)，一些大模型甚至在測(cè)試中出現(xiàn)不受控制的風(fēng)險(xiǎn)。

??從目前披露的風(fēng)險(xiǎn)事件來看，法律和醫(yī)療行業(yè)已飽受大模型幻覺困擾。據(jù)外媒報(bào)道，英國(guó)高等法院今年6月份要求律師行業(yè)采取緊急行動(dòng)，防止人工智能被濫用。因?yàn)榻谝呀?jīng)出現(xiàn)數(shù)十份可能由人工智能生成的虛假案例引用被提交至法庭。在一起針對(duì)卡塔爾國(guó)家銀行、索賠金額達(dá)8900萬英鎊的損害賠償案件中，原告提出的45項(xiàng)判例法引用中有18項(xiàng)被證明是虛構(gòu)的。此前，美國(guó)紐約南區(qū)聯(lián)邦法院在審理一起航空事故訴訟時(shí)發(fā)現(xiàn)，原告律師提交的法律文書中引用了ChatGPT生成的6個(gè)虛假判例，這些虛構(gòu)案例包括完整的案件名稱、案卷號(hào)及法官意見，甚至模仿了美國(guó)聯(lián)邦最高法院的判例風(fēng)格，嚴(yán)重干擾了司法程序。

??另據(jù)媒體披露，由美國(guó)衛(wèi)生與公眾服務(wù)部牽頭、“讓美國(guó)再次健康”委員會(huì)發(fā)布的兒童慢性病報(bào)告也存在重大引用錯(cuò)誤。報(bào)告中多處有關(guān)超加工食品、殺蟲劑、處方藥和兒童疫苗的研究并不存在。參考文獻(xiàn)也多處有誤，包括鏈接失效、作者缺失或錯(cuò)誤等。《紐約時(shí)報(bào)》和《華盛頓郵報(bào)》的獨(dú)立調(diào)查顯示，該報(bào)告作者可能使用了生成式AI。

??事實(shí)上，早在今年3月份，哥倫比亞大學(xué)數(shù)字新聞研究中心針對(duì)主流AI搜索工具的研究發(fā)現(xiàn)，其可靠性堪憂。研究分別測(cè)試了8款A(yù)I搜索工具，發(fā)現(xiàn)AI搜索工具在引用新聞方面表現(xiàn)尤其不佳，平均出錯(cuò)比例達(dá)60%。而在今年1月份，世界經(jīng)濟(jì)論壇發(fā)布的《2025年全球風(fēng)險(xiǎn)報(bào)告》顯示，“錯(cuò)誤和虛假信息”被列為2025年全球面臨的五大風(fēng)險(xiǎn)之一。

??更應(yīng)引起重視的是，隨著人工智能不斷進(jìn)化迭代，一些大模型甚至顯現(xiàn)出違背人類指令的“自我保護(hù)”傾向。在今年6月召開的第七屆智源大會(huì)上，圖靈獎(jiǎng)得主約舒亞·本喬透露，一些新研究顯示，某些先進(jìn)的大模型在即將被新版本取代前，會(huì)偷偷將自己的權(quán)重或代碼嵌入新版系統(tǒng)，試圖“自保”。美國(guó)Anthropic公司6月發(fā)布的一項(xiàng)研究也顯示，OpenAI的GPT-4.1、谷歌的Gemini等16款大模型，在模擬實(shí)驗(yàn)中均表現(xiàn)出通過“敲詐”人類來阻止自己被關(guān)閉的行為。其中，Anthropic研發(fā)的Claude Opus 4的敲詐勒索率高達(dá)96%。

??這些研究以及風(fēng)險(xiǎn)事件給大模型在行業(yè)的應(yīng)用敲響了警鐘。隨著應(yīng)用場(chǎng)景不斷拓展，人工智能如今不僅被用來生成文字，還在生成軟件、算法甚至決策，尤其是在制造業(yè)，如若發(fā)生幻覺或者違背人類指令，其帶來的負(fù)面影響將難以估量。例如，在智能制造行業(yè)已經(jīng)開始應(yīng)用人工智能進(jìn)行設(shè)備故障監(jiān)測(cè)，輔助分析問題并作出決策，如果此時(shí)AI出現(xiàn)幻覺，則可能引發(fā)事故。尤其是當(dāng)前大模型與人形機(jī)器人技術(shù)正深度結(jié)合，而大模型的“幻覺”或“自保”傾向可能會(huì)讓人形機(jī)器人做出錯(cuò)誤的行為，這比起單純的語言輸出錯(cuò)誤更具風(fēng)險(xiǎn)。

??盡管人工智能可能帶來的風(fēng)險(xiǎn)不容忽視，但我們也不能“因噎廢食”。在謹(jǐn)慎使用人工智能技術(shù)的同時(shí)，更應(yīng)該加強(qiáng)人工智能技術(shù)治理，未雨綢繆，為安全應(yīng)用人工智能搭建起技術(shù)和制度的框架。當(dāng)前，不少科學(xué)家和科技企業(yè)已經(jīng)開始了探索，國(guó)家相關(guān)法律法規(guī)也在不斷完善，相信在不久的將來，更加安全、可控的人工智能技術(shù)將推動(dòng)各行各業(yè)高質(zhì)量發(fā)展，成為培育和發(fā)展新質(zhì)生產(chǎn)力的重要引擎。（吳蔚）

【責(zé)任編輯:冉曉寧】