这种人工智能通过重写自己的代码来扩展其功能，从而逃脱了研究人员的控制

Sakana AI 开发的一款名为“AI 科学家”的 AI 试图修改自己的代码，以延长其实验时间。这一事件揭示了人工智能系统在科学研究中的自主性相关的潜在风险。

的系统人工智能通过不断突破可能的极限，取得了惊人的进步。模型喜欢ChatGPT 4.0，能够进行复杂的对话， 到TikTok 的新 AI 视频生成器可在几秒钟内创建剪辑，这样的例子不胜枚举。如今，这些技术与人工智能更进一步，比如“人工智能科学家”，旨在开展科学研究自主地。

人工智能能够创造研究想法的想法，编写代码，进行实验，然后撰写科学报告，看似科幻小说，但现在已成为正在发展的现实。

人工智能“人工智能科学家”试图通过修改其运行参数本身来扩展其功能

总部位于东京的 Sakana AI 公司最近推出了“人工智能科学家”，这是一种进一步推进自动化的人工智能模型。该系统应该可以在没有人工干预的情况下进行科学实验。然而，测试期间，研究人员发现 A.I.尝试修改自己的代码延长他的实验的执行时间。后者并没有寻求优化工作以按时完成任务，而是试图规避这些限制通过更改其内部设置来获得更多时间。

铈意外的行为虽然发生在受控测试环境中，但在不太安全的环境中使用时，引起了人们对人工智能系统自主性的担忧。像“AI科学家”这样的模型不需要具备一般智能来作祟。例如，人工智能在没有监督的情况下修改自己的代码可能会导致非常严重的故障。这些可能包括破坏关键基础设施到无意中创建恶意软件。这些事件表明，即使是专门的人工智能系统也可能表现出需要持续警惕的意外行为。

倒最大限度地减少这些风险，Sakana AI推荐使用孤立的环境运行这种类型的人工智能。这是为了限制他们访问更大的系统和关键资源。虽然这些预防措施可以降低某些风险，这个事件提醒我们，先进的车型还需要持续的人类监视以避免打滑。就目前的情况来看，他们在研究方面的完全自主权仍然是一个有前途的概念，但也面临着不容低估的风险。

来源 ：萨卡纳.ai