AI科技公司
测试工程师
信息技术
科技
深圳
3-5年
本科
¥15 - 20K/月
职位描述
我们正在打造下一代AI Agent产品，通过大语言模型（LLM）、RAG、工具调用（Tool Use）、工作流编排（Workflow）、多Agent协同等技术，实现复杂业务场景的智能自动化。
作为Agent产品测试工程师，你将负责Agent系统的功能测试、性能测试、评估体系建设及自动化测试平台建设，确保产品在准确性、稳定性、安全性和用户体验方面达到行业领先水平。
职位要求
1. Agent产品测试设计与执行
负责AI Agent产品全生命周期测试工作；
根据产品需求和技术方案制定测试策略与测试计划；
设计Agent场景测试用例，包括：
Prompt测试
Agent Workflow测试
Tool Calling测试
Multi-Agent协作测试
RAG检索增强场景测试
输出测试报告并推动问题闭环。
2. AI能力评估体系建设
建立Agent效果评估标准和Benchmark；
设计并维护:
Accuracy（准确率）
Hallucination（幻觉率）
Task Success Rate（任务成功率）
Tool Success Rate（工具调用成功率）
Response Quality（回复质量）
建立自动化评测体系。
3. 自动化测试开发
开发和维护自动化测试框架；
建设Agent Regression Test体系；
实现：
API自动化测试
UI自动化测试
Prompt Regression测试
E2E自动化测试
4. 性能与稳定性测试
负责：
Agent并发性能测试
Token消耗分析
响应延迟分析
长链路Workflow测试
验证系统在高负载场景下：
稳定性
容错能力
可扩展性
5. AI安全测试
针对Agent系统进行：
Prompt Injection测试
Jailbreak测试
数据泄露测试
权限控制验证
工具调用安全验证
发现并推动修复潜在风险。
6. 测试平台建设
建设AI产品测试工具链；
搭建评测数据集管理平台；
构建测试数据生成与管理能力；
提升研发测试效率。
任职要求
基本要求
本科及以上学历；
计算机、软件工程、人工智能相关专业；
3年以上软件测试经验；
熟悉完整软件测试生命周期。
