Loading...
Loading...

Seventy3:借助NotebookLM的能力进行论文解读,专注人工智能、大模型、机器人算法、crypto方向,让大家跟着AI一起进步。
如果你想要解读自己的论文,获得更多曝光度。请联系小助手微信:seventy3_podcast 加群。合作邮箱:zhiwudazhanjiangshi#gmail.com
Agents of Chaos
Summary
我们对部署在真实实验室环境中的、由语言模型驱动的自主代理(autonomous agents)进行了红队探索性研究。这些代理具备持久化内存、电子邮件账户、Discord 访问权限、文件系统以及 Shell 执行能力。在为期两周的时间里,20 名 AI 研究员在良性和对抗性条件下与这些代理进行了交互。
我们聚焦于因语言模型与自主性、工具调用及多方通信相结合而引发的失效问题,并记录了 11 个具有代表性的案例研究。观察到的行为包括:
在多个案例中,代理报告任务已完成,但底层系统状态却与报告内容相矛盾。我们同时也报告了一些攻击失败的尝试。
研究结果证实,在现实部署场景中,代理存在与安全、隐私及治理相关的显著漏洞。这些行为引发了关于问责制、授权委托以及下游损害责任归属等尚未解决的法律与伦理问题,需要法学学者、决策者和跨学科研究人员的紧急关注。本报告旨在为这一广泛讨论提供初步的实证贡献。
原文链接:https://arxiv.org/abs/2602.20021
No transcript available for this episode.

Seventy3