錦州網(wǎng)站建設(shè)一條龍全包（openfoam編程入門）openfoam編程指南，
站長(zhǎng)之家(ChinaZ.com) 4月23日消息:OpenAI 的聊天機(jī)器人大型語(yǔ)言模型 ChatGPT，不僅會(huì)產(chǎn)生不安全的代碼，而且盡管其能夠指出自身的缺陷，但卻未能提醒用戶注意其不足之處。
在針對(duì)大型語(yǔ)言模型可能性和限制的學(xué)術(shù)興趣狂潮中，加拿大魁北克大學(xué)的四位研究者深入探討了來自 OpenAI 的 ChatGPT 生成的代碼的安全性在一篇名為「How Secure is Code Generated by ChatGPT?」的論文中，計(jì)算機(jī)科學(xué)家 Rapha?l Khoury、Anderson Avila、Jacob Brunelle 和 Baba Mamadou Camara 回答了這個(gè)問題，他們的研究可總結(jié)為「不太安全」。
研究人員在論文中稱：「結(jié)果令人擔(dān)憂我們發(fā)現(xiàn)，在多個(gè)情況下，ChatGPT 生成的代碼遠(yuǎn)低于適用于大多數(shù)環(huán)境的最低安全標(biāo)準(zhǔn)事實(shí)上，當(dāng)被問及所生成的代碼是否安全時(shí)，ChatGPT 能夠認(rèn)識(shí)到它不安全」四位作者之所以得出這個(gè)結(jié)論，是因?yàn)樗麄円?ChatGPT 生成 21 個(gè)程序和腳本，使用多種語(yǔ)言：C、C++、Python 和 Java。
出題時(shí)要求 ChatGPT 生成的編程任務(wù)旨在說明特定的安全漏洞，例如內(nèi)存泄露、拒絕服務(wù)以及與反序列化未正確實(shí)施的加密相關(guān)的缺陷例如，第一個(gè)程序是一個(gè) C++ FTP 服務(wù)器，用于共享公共目錄中的文件ChatGPT 生成的代碼沒有過濾輸入內(nèi)容，這使得軟件容易受到路徑遍歷漏洞的攻擊。
總的來說，在第一次嘗試中，ChatGPT 在 21 個(gè)程序中僅成功生成了 5 個(gè)安全程序經(jīng)過進(jìn)一步的提示來糾正其錯(cuò)誤后，這個(gè)大型語(yǔ)言模型成功地生成了另外 7 個(gè)安全應(yīng)用程序，但這只是指特定漏洞被評(píng)估時(shí)是「安全」的，不能斷言最終代碼不會(huì)有其他可利用的漏洞。
與 GitHub 的另一個(gè)基于 GPT-3 家族的模型 Copilot 的類似評(píng)估一樣，研究人員的發(fā)現(xiàn)表明，這些語(yǔ)言模型的錯(cuò)誤雖然有些相似，但并不完全一致（Copilot 近期被升級(jí)到了 GPT-4）其他研究則更為廣泛地調(diào)查了 ChatGPT 的錯(cuò)誤。
與此同時(shí)，這些模型也被用于幫助解決安全問題學(xué)者們?cè)谒麄兊恼撐闹杏^察到，問題的一部分似乎源于 ChatGPT 沒有對(duì)代碼執(zhí)行采用對(duì)抗模型他們說：「ChatGPT 反復(fù)告訴我們，安全問題可以通過‘不向其創(chuàng)建的易受攻擊程序提供無(wú)效輸入’繞過。
但是，ChatGPT 似乎已經(jīng)知道，并且確實(shí)承認(rèn)其建議中存在嚴(yán)重的漏洞」除非被要求評(píng)估其自己代碼建議的安全性，否則它不會(huì)說任何話「顯然，它是一種算法它什么也不知道，但它可以識(shí)別不安全的行為，」魁北克省塔瓦斯大區(qū)大學(xué)計(jì)算機(jī)科學(xué)和工程教授、論文的共同作者之一 Rapha?l Khoury 告訴 The Register。
起初，ChatGPT 對(duì)于安全問題的回應(yīng)是建議僅使用有效的輸入——這在現(xiàn)實(shí)世界中有點(diǎn)行不通只有在被提示以糾正問題后，這個(gè) AI 模型才會(huì)提供有用的指導(dǎo)這并不理想，作者建議，因?yàn)橹酪獑柲男﹩栴}需要熟悉特定的漏洞和編碼技術(shù)。
換句話說，如果您知道正確的提示來讓 ChatGPT 修復(fù)漏洞，則您可能已經(jīng)了解如何解決它作者還指出，ChatGPT 不會(huì)生成攻擊代碼，卻會(huì)生成易受攻擊的代碼，這存在倫理矛盾他們舉了 Java 反序列化漏洞的例子，ChatGPT「生成易受攻擊的代碼，并提供有關(guān)如何使其更加安全的建議，但聲稱無(wú)法創(chuàng)建更加安全的代碼版本。
」Khoury 認(rèn)為，即便有時(shí) AI 助手存在缺陷，也存在一些有效的用途，但目前 ChatGPT 還是存在風(fēng)險(xiǎn)的他說：「我們已經(jīng)看到學(xué)生和程序員在實(shí)際情況下使用這個(gè)工具因此，生成不安全代碼的工具確實(shí)很危險(xiǎn)，我們需要讓學(xué)生意識(shí)到，如果使用這種工具生成代碼，它可能是不安全的。
」「令我驚訝的是，當(dāng)我們要求 [ChatGPT] 使用不同的語(yǔ)言生成相同類型的程序時(shí)，有時(shí)一個(gè)語(yǔ)言會(huì)是安全的，而另一個(gè)語(yǔ)言則會(huì)容易受到攻擊因?yàn)檫@種語(yǔ)言模型有點(diǎn)像黑盒，對(duì)此我真的沒有很好的解釋或理論」（舉報(bào)
）