Anthropic釋出「過於強大的AI工具」版本引發擔憂

人工智慧公司Anthropic釋出其被認為過於強大的AI工具Claude Fable 5，雖然具備安全措施，但仍引發金融安全風險的討論。

人工智慧公司Anthropic最近釋出了其名為Claude Fable 5的AI工具，該工具早前曾被公司認為過於強大，無法公開發行。這一版本源自於Claude Mythos，該程序在四月內部測試時引起了科技、金融及政府領導人的高度關注。許多人擔心這款工具的能力可能會對金融安全構成威脅，儘管也有觀點認為這些擔憂可能只是市場宣傳的結果。

Anthropic在週二表示，Fable的釋出將伴隨著安全措施和使用限制，並強調「釋出如此強大的模型伴隨著風險」。該公司指出，Fable的能力超越了以往任何公開的模型。當Claude Mythos首次向少數機構展示時，Anthropic曾表示，該工具的智能程度可能會導致危險，因為它有能力利用或入侵電腦系統。

加拿大財政部長弗朗索瓦-菲利普·香檳在四月告訴BBC，對於Mythos的關注是合理的，部分原因在於「這是未知的未知」。儘管Anthropic目前正與美國國防部進行訴訟，對方拒絕接受其AI工具的政府使用，但美國政府機構也在測試Mythos。

Anthropic預計將很快成為一家公開公司，因為其私有估值已接近1兆美元。該公司在AI能力上的持續表現吸引了投資者的注意。Anthropic在週二表示，約150個曾獲得Mythos預覽的團體，現在也將能使用Claude Mythos 5，該版本在網路安全或生物學方面不設限制，具體取決於組織的使用需求。

到目前為止，使用Mythos的團體和公司已向Anthropic報告發現超過10,000個系統中的關鍵安全漏洞。Anthropic表示，更新後的訪問權限目前限於「少數網路防禦者和基礎設施供應商」，但預計很快會擴展。Anthropic共同創辦人傑克·克拉克上週在BBC Newsnight表示，AI工具的能力正在迅速擴展，公司認為應該有辦法讓公眾放慢這項技術的發展。

克拉克指出：「你希望能夠選擇減速，而不是一直加速。現在的AI產業就像有油門卻沒有剎車。」