亚洲日本免费-啊轻点灬太粗太长了三男一女-麻豆av电影在线观看-日韩一级片毛片|www.grbbt.com

行業(yè)首個針對AI大模型的自動化防護產(chǎn)品發(fā)布

美國思科公司正在擴展其云安全平臺,引入全新技術功能,旨在幫助開發(fā)人員檢測和緩解AI應用程序及其底層模型中的潛在漏洞。

全新的思科AI防御服務已于1月15日上線,旨在防止員工在使用ChatGPT、Anthropic和Copilot等服務時導致數(shù)據(jù)泄露。目前,這家網(wǎng)絡巨頭已向早期接入客戶提供AI防御功能,并計劃于3月全面推廣。

AI防御功能已集成到思科安全訪問產(chǎn)品,這是該公司去年推出的升級版安全服務邊緣(SSE)平臺產(chǎn)品。思科安全訪問SaaS版涵蓋零信任網(wǎng)絡訪問、VPN即服務、安全Web網(wǎng)關、云訪問安全代理、防火墻即服務,以及數(shù)字體驗監(jiān)控等多項功能。

管理員可以通過托管思科所有云安全服務的思科云控制界面,查看AI防御的控制面板。

填補AI能力缺口

AI防御的目標是幫助那些既擔心AI帶來的安全風險、又迫于業(yè)務需求需要將AI技術應用到工作流程中的組織。思科首席產(chǎn)品官兼執(zhí)行副總裁Jeetu Patel在發(fā)布會上表示:“推動創(chuàng)新需要保持速度和效率,同時確保安全。這并非二選一的矛盾抉擇,而是需要兩者兼顧。”

根據(jù)思科2024年AI準備度調查,71%的受訪者認為,他們的組織尚未完全具備防止AI被未經(jīng)授權篡改的能力。此外,67%的受訪者表示,他們對機器學習特定威脅的了解有限。Patel指出,AI防御正是為了應對這些問題而設計的。

他表示:“思科AI防御是一種通用的安全和保護基礎設施,適用于任何模型、任何代理、任何應用程序以及任何云環(huán)境。”

大規(guī)模模型安全驗證

思科AI防御功能主要面向企業(yè)應用安全運維(AppSecOps)團隊,允許開發(fā)人員在將應用程序和代理部署到生產(chǎn)環(huán)境之前,對AI模型進行全面安全驗證。

Patel指出,AI模型的挑戰(zhàn)在于它們會隨著新數(shù)據(jù)的不斷加入而持續(xù)變化,這種動態(tài)性可能導致應用程序和代理的行為發(fā)生改變。

他說:“如果模型是持續(xù)變化的,那么驗證過程也必須是持續(xù)的。”

為了實現(xiàn)等效于紅隊測試的功能,思科于去年收購了由哈佛研究人員Yaron Singer和Kojin Oshiba于2019年創(chuàng)立的初創(chuàng)公司Robust Intelligence。這項收購成為AI防御的核心組成部分。

Robust Intelligence平臺通過算法化紅隊測試掃描漏洞,并引入了該公司開發(fā)的一種名為“樹狀攻擊剪枝”(Tree of Attacks with Pruning)的方法。這是一種基于AI的自動化系統(tǒng),用于系統(tǒng)性地測試并破解大模型。

根據(jù)Patel的說法,思科AI防御結合了生成式AI平臺提供商Scale AI的檢測模型、思科Talos威脅情報以及最近收購的Splunk平臺的遙測數(shù)據(jù),以持續(xù)驗證模型并自動推薦保護措施。此外,思科設計的AI防御還可以通過網(wǎng)絡結構分發(fā)這些保護措施。

他說:“這實際上讓我們能夠為驗證模型是否按預期運行提供專門設計的工具,幫助檢測模型是否會出現(xiàn)意外行為。大多數(shù)組織通常需要7到10周時間來驗證一個模型,而AI防御能夠在30秒內完成這一過程,因為整個流程是完全自動化的。”

行業(yè)首創(chuàng)?

分析人士普遍認為,思科是第一家推出能夠在如此大規(guī)模下實現(xiàn)自動化模型驗證技術的重要企業(yè)。

IDC安全與信任研究組副總裁Frank Dickson表示:“我還沒有聽說其他企業(yè)能做到類似的事情。一些企業(yè)嘗試過類似大模型防火墻的技術,但它們的復雜性和精細程度遠不及思科。這種30秒內完成自動滲透測試的能力非常令人印象深刻。”

S&P Global Market Intelligence旗下451 Research信息安全渠道研究總監(jiān)Scott Crawford表示認同。他指出,多家大型供應商正在以不同方式應對生成式AI的安全問題。

Crawford說:“在思科的案例中,通過收購專注于這一領域的初創(chuàng)公司Robust Intelligence,率先采取行動,這也成為該計劃的核心。目前市場上還有許多初創(chuàng)公司活躍在這一領域,其中任何一家都可能成為收購目標,但這是第一家被大型企業(yè)IT供應商收購的公司。”

他補充道,隨著針對脆弱模型攻擊的增多,解決AI安全問題將成為今年的主要焦點。

他說:“我們已經(jīng)看到了一些大模型被利用的案例,專家們也在探討大模型可能被操縱和攻擊的各種方式。”

此類攻擊通常被稱為大模型劫持,攻擊者會利用提示注入、供應鏈攻擊以及數(shù)據(jù)和模型投毒等漏洞發(fā)起攻擊。去年,Sysdig威脅研究團隊發(fā)現(xiàn)了一起典型的大模型劫持事件,攻擊者成功竊取了10個云托管大模型的云憑證。在這起事件中,攻擊者通過運行漏洞版本的Laravel系統(tǒng)(CVE-2021-3129)獲取了這些憑證。

參考資料:https://www.darkreading.com/cloud-security/cisco-previews-ai-defense-cloud-security

聲明:本文來自安全內參,稿件和圖片版權均歸原作者所有。所涉觀點不代表東方安全立場,轉載目的在于傳遞更多信息。如有侵權,請聯(lián)系rhliu@skdlabs.com,我們將及時按原作者或權利人的意愿予以更正。

上一篇:《網(wǎng)絡安全標準實踐指南——人工智能生成合成內容標識 服務提供者編碼規(guī)則》公開征求意見

下一篇:LinkedIn共享用戶數(shù)據(jù)用于AI訓練,面臨集體訴訟