信工所Galaxy(星河)生成式人工智能安全风险测评平台获评中国网络空间安全协会“2024年度网络安全十大优秀创新成果”
4月23日,在武汉市人民政府主办,中国网络空间安全协会等单位联合承办的第二届武汉网络安全创新论坛上,中国科学院信息工程研究所自主研发的Galaxy(星河)生成式人工智能安全风险测评平台从108项申报成果中脱颖而出,成功获评“2024年度网络安全十大优秀创新成果”。
生成式人工智能技术在赋能新质生产力的同时,也衍生出了有害内容生成、隐私泄露、网络安全风险等多重安全挑战。为应对这一全球性难题,信工所虎嵩林研究员、韩冀中正高级工程师、汤学海高级工程师、张潇丹研究员等创新性地提出了“以攻促防,攻防相长”的大模型安全发展技术路线,突破了高拟人化红队测试智能体、有监督对抗对比学习有害内容识别、低秩化增量式大模型对齐等核心技术,成功研制Galaxy(星河)测评平台,有效支撑了国家级的人工智能大模型评估和首届生成式人工智能大赛。该平台具备三大核心能力:支持百量级大模型安全自动评测、千余类风险场景深度挖掘,以及百支团队在线攻防演练,可系统性评估并有效提升大模型安全防护水平,为我国人工智能产业的健康有序发展奠定坚实的安全技术基础。
中国网络空间安全协会是由国家互联网信息办公室主管的全国性网络空间安全专业协会,本次评选聚焦人工智能安全、智能网联汽车安全、云计算安全、开源软件安全四大前沿领域,面向社会公开征集创新成果。评选遵循“公平公正、内容安全”原则,实施全流程脱敏与盲审机制,专家依据技术内容评分,确保结果客观公正。获得这一网络空间安全领域的重要奖项,不仅是对我所人工智能安全领域科技成果的高度肯定,也体现了业界对我所实践工作的积极认可。