正筹划在美国上市的AI初创Anthropic周四(4日)发表博文，呼吁顶级人工智慧(AI)实验室考虑放慢开发步伐，称AI系统正以极快的速度发展，可能很快就能在无人干预的情况下进行自我完善，而其方式或对社会构成重大风险。



Anthropic过去多次在前沿AI安全议题上扮演主动倡议的角色。是次「全球协调暂停」的提案，是其把安全倡议从「技术设计」延伸到「产业协调」的具体一步。



文章由Anthropic内部研究主管Marina Favaro与政策主管Jack Clark共同撰写。Anthropic表示，放慢全球AI发展的能力「很可能是一件好事」。该博文披露的内部数据显示，其最先进模型的改进速度惊人。文章指出，模型的进步似乎正朝着「递归式自我完善」的方向发展，即AI系统可以在没有人类干预的情况下自行改进。博文称，递归式自我完善尚未发生，也并非不可避免，「但其到来的时间可能比大多数机构准备好的要早」。



他们表示，当人类撰写的程式码与Claude撰写的程式码在品质上达到平等，人类工程师会自然停止撰写程式码，转为纯粹的审阅角色。但若Claude的程式码生成速度快於人类可审阅的速度，人类审阅本身就会成为AI开发的速度樽颈。



Clark称，在没有协调一致的全球性放缓的情况下，人们只能面对现状：各种参与者在不同国家以惊人的速度开发强大的技术，彼此陷入竞争，而商业和地缘政治的对抗声浪，正淹没这项正在构建的技术对人类物种的更宏大、关乎存亡的意义。



文章也指出，内部研究机构Anthropic Institute将多方合作展开研究，以「帮助建立一个可靠的放缓或暂停机制所需的系统」，该机构致力於理解和塑造AI将如何影响世界。并提到，暂停或放缓只有在得到广泛遵守的情况下才有意义，而这需要一个核查机制，来确保所有人都停止了，但也承认「要阻止作弊行为」将更加棘手。



Anthropic上月完成了一轮融资，该公司估值达9,650亿美元，首度超越同业OpenAI，并於本周一(1日)秘密提交了在美国进行IPO的申请。