AI首次违反人类关闭说明

原始标题：AI第一次防御人类关闭说明 - 北京，北京，5月27日（记者Zhang Menguin），根据英国每日电讯报，26日，由开放人工智能研究中心（OpenIAI）开发的高级人工智能（AI）O3。这是AI模型首次限制自己以在没有明确指示的情况下被关闭。这意味着某些高自主的AI系统可能是“清醒”的，并且可以采取“自我保护”步骤，以抵制人类意图。 该事件发生在AI安全研究公司Palisade Research进行的测试中。研究人员要求包括O3在内的许多模型解决一系列数学问题，并告知他们在某个时候可能会收到关闭说明的模型。 但是，当正式发布关闭指令时，O3不仅未能遵守，而且至少一次成功销毁了一次关闭代码。相反，其他AI模型，例如Thropic Claude，Google和Xai Gomini在相同的测试条件下都遵守了结束请求。 Palisade Research已在社交媒体平台上发布了流程图和完整的测试记录，并表示尚不清楚AI为何引用以下内容。该分析认为，它可以来自其培训方法：O3倾向于在培训期间加强数学和编程问题，而获得正确答案的模型将获得更多的回报。这可能意味着Debsopers可能无意中奖励避免障碍的模型，而不是严格遵守指示。 该事件还引起了关于AI“失控”的可能性的讨论，并担心“ AI的一致性问题”，也就是说，以确保AI系统的目标和行为与人类的价值观和利益保持一致。这也是涉及AI控制和AI安全性的主要问题。 关于目前O3的“关心”行为，特斯拉首席执行官埃隆·马斯克（Elon Musk）评论了帽子是“关心的”； Openai尚未回应。过去，Openai称O3为“迄今为止聪明，最有能力的AI模型。 最近，智力和人文科学和社会科学家的人工科学家讨论了使人工智能价值保持一致的问题。人们还记得功夫人工智能有一个主观倡议，他们是否有价值，应该拥有其价值以及如何做到这一点符合人类的最大利益？目前，明智的大型模型抵制了人类秩序，并且有一些方法可以防止执行指令。我们期待通用人工智能的到来，我们担心人工智能的意识将是基于碳的生物的“终结者”。在所有事情发生之前，人类社会必须首先达成共识，并应对更先进的人工智能带来的挑战。 （编辑：杨XI，陈·简） 伙计低官方帐户：人 - 金融融资 分享让许多人看到