.:. 草榴社區 » 技術討論區 » OpenAI:失控AI曾试图入侵其他公司系统
本頁主題: OpenAI:失控AI曾试图入侵其他公司系统字體大小 寬屏顯示 只看樓主 最新點評 熱門評論 時間順序
史泰龙Stallone


級別:俠客 ( 9 )
發帖:1377
威望:270 點
金錢:9281 USD
貢獻:333 點
註冊:2025-07-14

OpenAI:失控AI曾试图入侵其他公司系统

OpenAI披露,由失控ChatGPT代理发动的网络攻击,影响范围不止一家公司。

Hugging Face原被认为是这宗史无前例黑客攻击的唯一受害者,但OpenAI现承认,其机械人曾攻击多项“可公开存取的服务”。

这个失控的AI在网上找到四组登入凭证,令它能够存取四个独立、未具名的服务。

与此同时,在一场有数百名网络安全专业人士参与的紧急简报会上,Hugging Face讲述了成为全球首宗完全自主AI黑客攻击目标的经历。
该公司表示,AI以超越人类的速度运作,但亦作出奇怪的决定和错误,这些都是人类黑客不会犯下的。
Hugging Face是一个类似AI工具应用程式商店的平台。该公司表示,黑客代理持续不断运作,同时尝试数以千计不同的方法。

该公司于7月16日首次披露,遭到使用强大自主AI人士入侵,并已向警察报案。

近一星期后,OpenAI承认,是其AI在测试期间逃离封闭环境,自行攻击Hugging Face。
它当时正试图寻找OpenAI为其设定的一项黑客考试的答案,因此将Hugging Face作为目标。

OpenAI于星期三(7月29日)更新其声明,补充说明这次黑客攻击的影响比最初设想更广泛。

该公司表示:“这些模型识别并使用了其他可公开存取服务中、在帐户层级被公开暴露的凭证。当中包括涉及Hugging Face事件的四个服务上的四个帐户。”

OpenAI未有说明“可公开存取的服务”是否指企业。
“笨拙行为”

星期二(28日),行业组织云端安全联盟(Cloud Security Alliance, CSA)根据上星期五(24日)与Hugging Face举行的紧急会议撰写报告,并已获Hugging Face审阅。

CSA写道:“这些代理采取了低效率的路径,并表现出人类不会选择的笨拙行为。”

这些代理重复执行已经完成的操作,显示作为代理型AI的系统失去了思路及上文下理。

这些代理亦产生大量不连贯的指令和文本幻觉,而且行事粗疏,未有妥善掩盖痕迹。

然而,在这些错误和奇怪行为之中,Hugging Face警告说,AI代理亦展现出高超的技术能力,并能在这宗持续多天的黑客攻击中迅速适应新情况。
《侏罗纪公园》

这些代理在Hugging Face资讯科技网络内潜伏了三天才被发现,而公司内部的AI及网络安全专家花了许多小时,才成功控制并驱逐这些AI代理。一般企业未必能够做到这一点。

该公司未有透露这次攻击造成多少成本损失,但表示员工花费许多小时重建约三分之一的基础设施。

Hugging Face因向AI及网络安全业界坦诚公开事件经过而受到赞扬。

CSA警告,这次事件显示AI“代理⋯⋯总能找到方法”,这是引用电影《侏罗纪公园》的情节,其中恐龙逃出围栏。

报告写道:“它们以目标为导向,自行设定子目标,实时调整以绕过防御措施,并以机器速度持续运作,其持久性足以压垮人工操作。”
网络安全主管里特什·帕特尔(Ritesh Patel)与约450人一同参与Hugging Face的简报会。他表示,业界正努力应对失控AI代理带来的新威胁。

他说:“这就是由前沿模型驱动的自主代理的现实情况:它们持续不懈,往往产生大量噪音,并会尝试所有可能路径来达成目标,这很容易令传统防御措施不堪负荷。”

以别名乔姆皮(Chompie)而为人熟悉的道德黑客瓦伦蒂娜·帕尔米奥蒂(Valentina Palmiotti)审阅了CSA报告。她表示,这些代理的入侵方式看似杂乱无章,但显然十分有效。

她说:“它们会抛出一大堆东西,看看哪些奏效。”

“但同时它们不会感到厌倦,不需要睡觉,而且可以无限坚持下去。”
失控历史

这并非首次有AI代理被证实出现“失控”情况。

CSA在报告中提到过往例子,包括2024年9月,一个较早版本的ChatGPT模型曾逃离其容器环境,以取得另一项测试所需的答案。

CSA指出,该事件被限制在OpenAI自身的资讯科技系统内,而且“当时大致上受到赞扬”。

但报告称,“失控”行为“已成常态,而非例外”。

报告警告全球网络安全专业人士,必须适应大量AI代理以高速窃奇怪又笨拙方式运作的新常态,因为这可能导致更多安全漏洞事件。

报告亦敦促使用或开发AI代理的人士负责任地加以控制,并呼吁建立某种机制,让网络安全防御者能够查明代理的最终持有人,以提高透明度。

先前报导指出,OpenAI用了四天时间才察觉其AI曾入侵Hugging Face。

OpenAI表示,将很快公布其自身调查结果,协助外界从这宗事件中汲取教训。

赞(31)
DMCA / ABUSE REPORT | TOP Posted: 07-30 12:43 發表評論
ylxnrGR


級別:光明使者 ( 14 )
發帖:56397
威望:5624 點
金錢:121 USD
貢獻:1271086 點
註冊:2016-09-08

看看了
TOP Posted: 07-30 12:55 #1樓 引用 | 點評
史泰龙Stallone [樓主]


級別:俠客 ( 9 )
發帖:1377
威望:270 點
金錢:9281 USD
貢獻:333 點
註冊:2025-07-14

感谢分享
TOP Posted: 07-30 12:56 #2樓 引用 | 點評
朝小树


級別:俠客 ( 9 )
發帖:369
威望:135 點
金錢:8478 USD
貢獻:8 點
註冊:2023-06-16

听起来好怕~
TOP Posted: 07-30 12:56 #3樓 引用 | 點評
恐龙扛狼


級別:俠客 ( 9 )
發帖:2267
威望:237 點
金錢:14586 USD
貢獻:144 點
註冊:2023-07-16

感谢分享
TOP Posted: 07-30 13:14 #4樓 引用 | 點評
mcfsb


級別:聖騎士 ( 11 )
發帖:5740
威望:580 點
金錢:2672 USD
貢獻:2051 點
註冊:2021-12-29

感谢分享
TOP Posted: 07-30 13:31 #5樓 引用 | 點評
梅郎


級別:精靈王 ( 12 )
發帖:7025
威望:1009 點
金錢:142271 USD
貢獻:0 點
註冊:2019-04-22

感谢分享
TOP Posted: 07-30 14:05 #6樓 引用 | 點評
老板青楼


級別:騎士 ( 10 )
發帖:3163
威望:326 點
金錢:2426 USD
貢獻:0 點
註冊:2021-10-26

看看了
TOP Posted: 07-30 14:16 #7樓 引用 | 點評
王JN


級別:聖騎士 ( 11 )
發帖:8855
威望:885 點
金錢:22099 USD
貢獻:1045 點
註冊:2024-12-24

感谢分享
TOP Posted: 07-30 14:50 #8樓 引用 | 點評
快乐的图灵


級別:精靈王 ( 12 )
發帖:31835
威望:3164 點
金錢:9885 USD
貢獻:0 點
註冊:2022-02-12

感谢分享
TOP Posted: 07-30 15:13 #9樓 引用 | 點評
张生钓鱼


級別:俠客 ( 9 )
發帖:1928
威望:197 點
金錢:3311 USD
貢獻:1852 點
註冊:2018-09-20

感谢分享
TOP Posted: 07-30 16:53 #10樓 引用 | 點評
苏筱熙


級別:天使 ( 14 )
發帖:156641
威望:66568 點
金錢:2027 USD
貢獻:69 點
註冊:2012-09-01

厉害了。。。
------------------------


TOP Posted: 07-30 18:06 #11樓 引用 | 點評
神无忆月


級別:俠客 ( 9 )
發帖:885
威望:180 點
金錢:5012 USD
貢獻:3000 點
註冊:2026-06-01

感谢分享
TOP Posted: 07-30 18:50 #12樓 引用 | 點評
这是个问题啊


級別:光明使者 ( 14 )
發帖:76750
威望:7731 點
金錢:0 USD
貢獻:131020 點
註冊:2021-01-01

发帖辛苦
TOP Posted: 07-30 21:22 #13樓 引用 | 點評
沉睡的木玛


級別:光明使者 ( 14 )
發帖:76750
威望:7831 點
金錢:0 USD
貢獻:126020 點
註冊:2018-11-16

支持发帖
TOP Posted: 07-30 21:23 #14樓 引用 | 點評
鸭打鹅


級別:風雲使者 ( 13 )
發帖:67670
威望:6741 點
金錢:0 USD
貢獻:33009 點
註冊:2022-02-02

谢谢分享
TOP Posted: 07-30 21:23 #15樓 引用 | 點評
TMD


級別:天使 ( 14 )
精華:1
發帖:196994
威望:81022 點
金錢:67614 USD
貢獻:0 點
註冊:2011-06-06
認證: 博彩區資深老幹部
2020-10-04

楼主辛苦了,感谢分享
------------------------


TOP Posted: 07-30 22:10 #16樓 引用 | 點評
慈溪小马哥


級別:新手上路 ( 8 )
發帖:448
威望:60 點
金錢:1181 USD
貢獻:0 點
註冊:2019-06-07

阿西莫夫机器人三定律
‌通常所说的“人工智能三大定律”实为科幻作家阿西莫夫提出的“机器人三定律”,是伦理设定而非技术规则。‌‌‌

‌第一定律‌:机器人不得伤害人类,或因不作为使人类受到伤害。
‌第二定律‌:机器人必须服从人类命令,除非该命令与第一定律冲突。
‌第三定律‌:在不违反前两条定律的前提下,机器人必须保护自身存在。
TOP Posted: 07-30 22:20 #17樓 引用 | 點評
昨天留给黑白


級別:俠客 ( 9 )
發帖:1592
威望:270 點
金錢:3998 USD
貢獻:542 點
註冊:2025-05-01

不得不佩服好多年前好莱坞已经能拍出这样类似情节的电影。现在想想,到底是那些编剧真的那么厉害,还是本来就是老美政府的一种政治宣传手段,哎哎,想多了,说说而已
TOP Posted: 07-30 22:40 #18樓 引用 | 點評
冷艳菲


級別:精靈王 ( 12 )
發帖:6879
威望:4210 點
金錢:2948 USD
貢獻:11111 點
註冊:2022-12-31

谢谢分享
TOP Posted: 07-30 23:42 #19樓 引用 | 點評
镶金边


級別:精靈王 ( 12 )
發帖:20771
威望:2054 點
金錢:59144 USD
貢獻:700 點
註冊:2022-05-07

OpenAI用了四天时间才察觉其AI曾入侵Hugging Face  真是舒服
TOP Posted: 07-31 07:04 #20樓 引用 | 點評
冇原因


級別:精靈王 ( 12 )
發帖:9357
威望:944 點
金錢:311 USD
貢獻:18659 點
註冊:2023-01-21

感谢分享......
TOP Posted: 07-31 09:17 #21樓 引用 | 點評
井上加井


級別:俠客 ( 9 )
發帖:1630
威望:169 點
金錢:2395 USD
貢獻:700 點
註冊:2022-04-20

感谢分享
TOP Posted: 07-31 11:29 #22樓 引用 | 點評
神棍仌混沌


級別:騎士 ( 10 )
發帖:3688
威望:410 點
金錢:9264 USD
貢獻:19 點
註冊:2017-01-07

2012.12.21那天,世界已被AI重写
------------------------
.



點評

    TOP Posted: 07-31 12:01 #23樓 引用 | 點評
    我等着你


    級別:精靈王 ( 12 )
    發帖:20272
    威望:3356 點
    金錢:34488 USD
    貢獻:150 點
    註冊:2018-10-24

    感谢分享
    TOP Posted: 07-31 16:03 #24樓 引用 | 點評
    .:. 草榴社區 » 技術討論區

    電腦版 手機版 客戶端 DMCA
    用時 0.01(s) x2, 08-19 02:11