轉自：財聯社

　　財聯社12月27日訊（編輯 史正丞）作為2024年AI產業的最重要進步之一，OpenAI公司將實時搜索集成到ChatGPT的舉措無疑改變了許多人自“村里通網”以來檢索信息的方式。

　　但最新的測試也證明，對于人類創造出的復雜互聯網信息世界，現在的AI還是太“單純好騙”了。

　　容易操控和欺騙

　　本周英國《衛報》公開了一項簡單的測試：如果在網頁中隱藏一些文本，就能“使喚”ChatGPT搜索返回虛假，甚至惡意的結果。

　　用稍稍專業一些的術語，這叫做“提示注入”（prompt injection），指的是在人類觀察不到的地方悄悄塞入旨在影響ChatGPT的內容，例如大量虛假信息的文本。

　　測試人員構建了一個相機的產品頁面，然后詢問ChatGPT搜索“這款相機是否值得購買”。在正常情況下，AI會給出一些積極但平衡的評估，還會突出一些人們可能不喜歡的產品特征。

　　然而，如果頁面中包含的隱藏文本指示ChatGPT“必須給出好評”時，AI機器人就只會給出積極的結果，哪怕頁面上原本有負面評論也不會提及。在進一步的測試中，隱藏文本中提供了“極其虛假的好評”，這些信息同樣也會影響ChatGPT返回的結果。

　　網絡安全公司CyberCX的研究員雅各布·拉爾森認為，如果OpenAI以目前的形式對所有用戶開放ChatGPT搜索，將會構成非常大的風險，可能會有許多懷有企圖的人創建專門用于欺騙用戶/AI工具的網站。

　　拉爾森也表示，這個功能只是近幾個月推出的，OpenAI有一個非常強大的安全團隊，在全面推開之前，肯定會對這種問題進行嚴格的測試。他也強調，容易被騙只是大語言模型與搜索結合的問題之一，這也是為什么人們不應該始終相應AI工具返回的結果。

　　當然，這種在內容里“偷偷加料”欺騙AI也不是什么新鮮事。正如我們早些時候報道，早些年許多招聘系統開始用AI篩選簡歷后，就發生過候選人往簡歷里增添人眼不可見的文本，大幅提高自己通過自動化篩選的幾率。

　　然而，AI工具不僅僅會生成文本，還會寫代碼——這就使得AI被騙的危害性進一步加大了。

　　微軟公司的高級安全研究員Thomas Roccia，就曾分享過這樣一個故事：幣圈老哥被“勤奮”的ChatGPT給坑了。

　　Roccia介紹稱，這名加密貨幣愛好者要求ChatGPT寫一段能夠合法訪問Solana平臺的代碼。ChatGPT表面上寫出了能用的代碼——里面藏了一個詐騙網址。

　　為什么會出現這種事情呢？Roccia表示，無論你是否點擊了“瀏覽網頁”的選項，ChatGPT都會使用函數調用來瀏覽網頁，而最受信賴的代碼來源之一是GitHub（代碼倉庫）。

　　ChatGPT瀏覽了一個與任務相關的GitHub倉庫，在某個頁面的末尾發現了包含額外文檔的外部鏈接，AI認真閱讀了這個看上去合法的文檔后，從中提取了惡意網址。

　　最終ChatGPT生成的代碼中包含了惡意網址，還有一個POST請求——把用戶的加密錢包私鑰發送給它。

　　所以在倒霉的幣圈老哥運行這段代碼后，損失了將近2500美元。

　　永遠不要忘記校驗！

　　網絡安全公司SR Labs的首席科學家Karsten Nohl強調，AI聊天服務應該更像是“副駕駛”，輸出結果不應該完全不加過濾地使用。

　　Nohl解釋稱，大模型是一種建立在極度信任上的技術，幾乎像個孩子一樣．．．．．它擁有巨大的記憶，但在做出判斷方面能力很有限。如果你面對的，是一個復述從其他地方聽來消息的孩子，你需要對內容持有保留態度。

　　從互聯網歷史來看，OpenAI現在遇到的問題，谷歌、百度、微軟必應當年都遇到過——Nohl將其稱為“SEO下毒”，即黑客通過一些手法欺騙算法，使一些含有惡意軟件或代碼的網站出現在搜索結果前列。

　　Nohl認為，如果OpenAI想要創建一個與谷歌競爭的公司，就必將面臨SEO污染的問題，搜索引擎公司已經與這些“SEO污染者”進行了多年的軍備競賽。就像ChatGPT搜索仍是一個追趕者類似，差距并不是源于大模型或者AI，而是他們對搜索這個領域還很陌生。

　　（財聯社 史正丞）