评估
为前沿AI系统提供独立的第三方评估与模型安全报告。
我们的方法论与《欧盟AI法案》行为准则中的系统性风险评估要求保持一致,涵盖CBRN(化学、生物、放射性与核技术)、网络攻击、操纵性滥用以及失控风险。
为前沿AI系统提供独立的第三方评估与模型安全报告。
我们的方法论与《欧盟AI法案》行为准则中的系统性风险评估要求保持一致,涵盖CBRN(化学、生物、放射性与核技术)、网络攻击、操纵性滥用以及失控风险。
针对前沿AI系统能力增强过程中出现的不对齐现象开展实证研究。
我们的研究致力于发展安全科学,并开发新的评估方法,以衡量模型不对齐(misalignment)及其失控风险,重点关注智能体系统中出现的失效情况。
我们与学术实验室、前沿安全组织以及标准制定机构紧密合作。
我们的合作涵盖联合评估、方法论共享,以及跨机构、跨国界的前沿AI安全技术协作。如果您希望就某个项目开展合作,欢迎联系我们。
发布针对前沿模型的独立安全评估报告,结合既定基准测试与深入探测特定风险的后续实验。
旨在为新兴监管体制下各公司履行独立安全报告义务提供参考模板。
对前沿安全缓解措施(如思维链监控和宪法分类器)进行独立压力测试。
我们计划将方法论与发现结果以实用指南的形式发布,旨在降低各实验室采用这些缓解措施的成本,避免其重复开展从零开始的评估工作。
开展针对前沿模型中不对齐与失控风险的实证研究。研究方向包括评估意识、模型故意表现不佳(sandbagging)以及对关闭指令的规避行为(shutdown avoidance)。
团队成员的代表性学术成果