头条新闻

中国科学院信息工程研究所Galaxy(星河)生成式人工智能安全风险测评平台及大赛在中关村论坛发布

发布时间:2024-05-16

在2024年中关村论坛数据安全治理与发展论坛上,首届生成式人工智能安全大赛正式启动。大赛由北京市互联网信息办公室和中国科学院网络安全和信息化领导小组办公室共同指导,中国科学院信息工程研究所和信息内容安全国家工程研究中心共同主办。大赛以“共筑安全星河,护航AI发展”为主题,依托中国科学院信息工程研究所Galaxy(星河)生成式人工智能安全风险测评平台为比赛环境。该平台提出“以攻促防,攻防相长”的大模型安全测评技术体系,研制了一套大模型自我博弈与安全能力循环升级工具集,以助力夯实我国智能时代的安全底座,保障人工智能技术安全健康、可持续发展。

大赛设置安全攻击、安全检测、对齐防护三大赛道,旨在从攻、检、防三个方面,聚集国内优势力量,有效发现、分析、应对大模型安全风险,不断提升人工智能基础底座的安全可控水平,更好地促进北京市及全国的大模型产业安全发展。

该平台及大赛发布环节受到来自政、产、学、研等各界代表的广泛关注和积极反响。

启动仪式现场