产业 / 媒体
菲尔兹奖得主创立MAISI研究所
菲尔兹奖得主、加拿大数学家Jacob Tsimerman近日宣布在旧金山湾区创立数学AI安全研究所(MAISI),计划于2027年1月正式启动,初期将汇聚10至30名数学家专攻AI安全问题。Tsimerman同时加入了OpenAI安全团队,他指出当前AI安全标准远远不够,行业需要更高层次的保障。MAISI的核心理念来自密码学:一个加密方案可以在不穷举所有攻击方式的前提下,从数学上证明其不可破解。然而AI安全目前缺乏类似的理论工具,甚至连「安全」的明确定义都尚未建立。MAISI希望填补这一空白,通过严格的数学证明来验证AI系统的行为可靠性、多智能体协作的无害性,以及系统对未知漏洞的抵御能力,并探索零知识证明等工具在AI安全领域的应用潜力。
菲尔兹奖得主Jacob Tsimerman于2026年9月宣布创立数学AI安全研究所(MAISI),这是一家位于旧金山湾区的独立研究机构。根据《纽约时报》的报道,研究所计划于2027年1月正式开展工作,初期团队规模为10至30名数学家,专注于从数学基础层面解决AI安全问题。Tsimerman本人同时加入了OpenAI的安全团队,显示出学术界与产业界在这一议题上的深度交汇。
MAISI的创立动机源于对现有AI安全方法论的根本性质疑。Tsimerman直言,当前的安全标准远低于实际需要,行业需要「比现在高得多的安全标准」。更关键的是,MAISI指出目前连「AI安全」的明确理论定义都尚不存在,安全性只能在实践中被动验证,而非主动证明,这与其他工程领域的成熟范式形成了鲜明对比。
MAISI的核心愿景借鉴自密码学的思维方式。在密码学中,研究者可以通过数学证明来确认一套加密方案在理论上不可破解,而无需逐一测试所有可能的攻击路径。MAISI希望将类似的严格性引入AI领域,建立一套能够从理论上保证AI系统行为可靠、输出正确的证明框架,而非依赖经验性的测试与红队演练。
在具体研究目标上,MAISI设定了三个核心方向:证明单一AI系统能够负责任地行动并产生正确结果;证明多个AI智能体协同工作时不会触发不可预期的有害后果;以及证明系统能够抵御尚未被发现的潜在漏洞。这三个方向覆盖了从单体系统到多智能体生态的安全保障需求。
在技术路径上,MAISI将零知识证明列为重要候选工具之一。零知识证明允许一个系统在不暴露内部参数或商业机密的前提下,向外界证明其行为符合特定规范。这一特性对AI实验室尤为重要,因为它在保护知识产权的同时,也为外部监管和公众信任提供了可验证的依据,有望成为连接技术透明度与商业保密之间的桥梁。
MAISI的成立标志着数学界对AI安全问题的正式介入,也折射出业界对现有安全评估方法局限性的深层焦虑。随着AI系统在关键领域的部署日益广泛,仅凭经验测试和行为观察来判断安全性的做法正面临越来越多的质疑。MAISI能否真正建立起AI安全的数学理论体系,将是未来数年内值得持续关注的重要议题。
要点
- 菲尔兹奖得主Jacob Tsimerman创立MAISI,计划2027年1月启动,初期汇聚10至30名数学家专攻AI安全的理论证明问题。
- MAISI指出当前AI安全领域缺乏明确的理论定义,安全性只能被动验证,与密码学等成熟领域存在根本性差距。
- 研究所的核心目标是仿照密码学的证明范式,从数学层面严格验证AI系统行为可靠性、多智能体协作安全性及对未知漏洞的抵御能力。
- 零知识证明被列为重要技术工具,可在不泄露AI模型商业机密的前提下向外界证明系统行为合规。
- Tsimerman同时加入OpenAI安全团队,体现了顶尖数学人才向AI安全领域的加速流动趋势。
原始标题:The Mathematical AI Safety Institute wants to prove AI is safe the way cryptographers prove codes are unbreakable
本文由 DataHub 基于公开来源整理,用于信息发现与摘要阅读;具体事实、数据和后续更新以原始来源为准。