某知名AI公司
AI安全系统负责人
能源
软件开发
湖州
5-10年
本科
¥30 - 45K15薪
职位描述
岗位职责
一、AI 安全体系建设
负责公司整体 AI 安全战略规划,构建覆盖模型、数据、应用、用户全链路的安全体系。
建立 AI 安全标准、流程、规范,包括模型对齐、安全评估、风险分级、发布流程等。
推动 AI 安全能力平台化、自动化,构建可复用的安全基础设施。
二、模型安全与对齐(Alignment)
负责大模型(LLM/多模态模型)的安全对齐策略,包括 SFT、RLHF、DPO、安全数据集构建等。
设计并优化模型的安全能力,包括拒答策略、敏感内容识别、价值观对齐、风险控制。
监控模型在敏感场景下的行为,持续迭代安全能力。
三、AI 风险治理与合规
识别并管理 AI 风险,包括幻觉、偏见、滥用、越权访问、隐私泄露、内容安全等。
负责 AI 合规体系建设,跟踪全球 AI 法规(如 EU AI Act、NIST AI RMF 等),推动落地。
与法务、合规团队协作,确保产品在不同市场的合规性。
四、安全评估与红队测试(Red Teaming)
搭建 AI 安全评估体系,包括自动化评测、人工评测、对抗测试、红队攻击等。
设计安全评测集,覆盖越狱、提示攻击、敏感内容、隐私泄露、社会工程等场景。
推动模型上线前的安全审查与风险评估。
五、数据安全与隐私保护
负责训练数据、对齐数据、用户数据的安全治理,包括脱敏、过滤、访问控制等。
推动隐私保护技术落地,如差分隐私、联邦学习、数据最小化等。
监控数据使用合规性,防止数据滥用与泄露。
六、跨团队协作与组织建设
搭建并管理 AI 安全团队,包括安全工程师、对齐工程师、红队专家、评测工程师等。
与模型团队、产品团队、平台团队协作,推动安全能力在业务中的落地。
输出安全策略、风险报告、技术文档,支持公司决策。
职位要求
任职要求
本科及以上学历,计算机、人工智能、安全工程、数学等相关专业优先。
8 年以上安全、AI、算法或平台相关经验,3 年以上团队管理经验。
熟悉大模型训练、微调、对齐(SFT/RLHF/DPO)、模型评估等核心技术。
熟悉 AI 安全风险,包括越狱攻击、提示攻击、模型幻觉、偏见、内容安全等。
熟悉数据安全、隐私保护、访问控制、审计等体系建设。
熟悉安全工程体系,包括红队测试、对抗样本、威胁建模、安全评估等。
具备优秀的跨团队沟通能力、战略规划能力与推动落地能力。