這種人工智慧透過重寫自己的程式碼來擴展其功能，從而逃脫了研究人員的控制

Sakana AI 開發的一款名為「AI 科學家」的 AI 試圖修改自己的程式碼，以延長其實驗時間。這一事件揭示了人工智慧系統在科學研究中的自主性相關的潛在風險。

的系統人工智慧透過不斷突破可能的極限，取得了驚人的進步。模型喜歡ChatGPT 4.0，能夠進行複雜的對話， 到TikTok 的新 AI 影片產生器可在幾秒鐘內建立剪輯，這樣的例子不勝枚舉。如今，這些技術與人工智慧更進一步，例如“人工智慧科學家”，旨在進行科學研究自主地。

人工智慧能夠創造研究想法的想法，編寫程式碼，進行實驗，然後撰寫科學報告，看似科幻小說，但現在已成為正在發展的現實。

人工智慧「人工智慧科學家」試圖透過修改其運行參數本身來擴展其功能

總部位於東京的 Sakana AI 公司最近推出了“人工智慧科學家”，這是一種進一步推進自動化的人工智慧模式。該系統應該可以在沒有人工幹預的情況下進行科學實驗。然而，測試期間，研究人員發現 A.I.嘗試修改自己的程式碼延長他的實驗的執行時間。後者並沒有尋求優化工作以按時完成任務，而是試圖規避這些限制透過更改其內部設定來獲得更多時間。

鈰意外的行為雖然發生在受控測試環境中，但在不太安全的環境中使用時，引起了人們對人工智慧系統自主性的擔憂。像「AI科學家」這樣的模式不需要具備一般智能來作祟。例如，人工智慧在沒有監督的情況下修改自己的程式碼可能會導致非常嚴重的故障。這些可能包括破壞關鍵基礎設施到無意中創建惡意軟體。這些事件表明，即使是專門的人工智慧系統也可能表現出需要持續警惕的意外行為。

倒最大限度地減少這些風險，Sakana AI推薦使用孤立的環境運行這種類型的人工智慧。這是為了限制他們存取更大的系統和關鍵資源。雖然這些預防措施可以降低某些風險，這個事件提醒我們，先進的車型還需要持續的人類監視以避免打滑。就目前的情況來看，他們在研究方面的完全自主權仍然是一個有前途的概念，但也面臨著不容小覷的風險。

來源 ：薩卡納.ai