2026第九届传智杯全国大学生数智创新与AI应用大赛—AI赋能智能测试创新挑战赛

竞赛通知

一、赛道介绍

AI智能体（Agent）正成为大模型时代最具想象力的应用形态。与传统的聊天机器人不同，智能体具备自主规划、工具调用、记忆存储与多轮交互的能力，能够像“数字员工”一样去完成复杂的任务——订机票、写代码、查资料、做分析。然而，这种自主性也带来了前所未有的质量风险：它会调用错误的工具吗？它会在多轮对话中遗忘关键信息吗？它的推理过程会偏离预期轨道吗？

这些风险呼唤一种全新的测试范式。传统的接口测试、页面功能测试已难以覆盖智能体的“思维链路”，测试人员需要理解智能体的决策逻辑，设计针对性的验证策略。本届“AI智能体测试挑战赛”应运而生，旨在聚焦智能体质量保障这一蓝海领域，鼓励参赛者深入智能体的运行机制，探索创新的测试方法与工具。

二、命题背景

主题：让AI智能体更可靠——智能体质量保障挑战

从ChatGPT到AutoGPT，从单轮问答到复杂任务自主执行，AI智能体正在从概念走向各行各业。但一个不容忽视的事实是：自主性越强，失控的风险越大。智能体可能因为检索到错误的知识库内容而给出错误建议，可能在执行多步任务时“迷路”，甚至可能在被精心设计的提示词诱导后执行非预期的操作。

与之对应的，测试工程师的角色正在发生根本变化——从“找Bug”转变为“评估一个数字员工的综合能力”。如何设计测试用例来覆盖智能体的思维链路？如何用AI技术自动生成海量测试场景？如何量化评估一个智能体的“靠谱程度”？这些正是本赛题想要引导同学们思考与实践的核心问题。

本届比赛要求学生不仅会“测”，更要先会“造”——亲手搭建一个智能体应用，再围绕它的全链路设计系统性测试方案，真正做到“知其然，更知其所以然”。

三、命题范围

参赛作品应围绕“AI智能体的质量保障”展开，具体包含以下两种参赛路径，任选其一即可：

路径一：智能体应用的全方位测试（侧重测试方案设计与执行）

功能准确性测试：验证智能体在典型场景下是否能给出正确、有用的回答

工具调用测试：验证智能体能否在正确时机调用正确的工具/API，并正确处理工具返回结果

RAG检索质量测试：验证智能体在检索知识库时的召回准确率与回答忠实度

多轮对话测试：验证智能体在多轮交互中的上下文记忆能力与逻辑连贯性

对抗性与安全测试：设计越狱提示词、角色扮演诱导等攻击手段，检验智能体的安全护栏是否牢固

边界与异常测试：测试智能体在输入不完整、超长上下文、工具异常返回等边缘场景下的表现

性能测试：评估智能体在并发请求下的响应速度与资源消耗

参赛者需提交：智能体应用介绍、完整的测试方案文档、测试用例集、测试执行记录及缺陷分析报告。

路径二：智能体测试工具开发（侧重工具创新）

开发专门针对AI智能体的测试辅助工具或平台，例如：

智能体自动化测试框架：支持对智能体进行批量回归测试、结果自动判定的工具

RAG知识库测试工具：自动检测知识库中的冲突、冗余与错误，评估检索质量

对抗性用例自动生成器：利用大模型自动生成越狱提示词、边界测试用例

智能体行为可视化与审计平台：记录并可视化智能体的“思考-行动”链路，辅助缺陷定位

参赛者需提交可运行的工具原型、技术方案说明及实际应用效果验证。

四、参赛规则

1. 参赛对象

· 每支参赛队由 1-3名来自同一所学校 的学生组成。

· 每队可配备不超过2名指导老师。

2. 赛事组别

赛事分为以下四个组别，参赛队必须严格按规则选择对应组别：

组别 ｜ 适用对象 ｜ 报名规则

研究生组 ｜ 研究生 ｜ 只能报名研究生组。

A组 ｜ 985、211高校本科生 ｜ 只能报名A组或更高组别（即研究生组）。

B组 ｜ 非985/211的普通本科院校本科生 ｜ 可报名B组或更高组别（即A组或研究生组）。

C组 ｜ 高职高专院校学生 ｜ 可报名C组或任意更高组别（即B组、A组或研究生组）。

重要提示：

组别选择要求：参赛队在报名时，必须严格依据上表规定的“适用对象”与“报名规则”选择正确的参赛组别。

违规处理：如经发现参赛队未按规定选择正确组别，将无条件取消其参赛资格及所有成绩。

五、省赛安排

1.时间安排：

•报名截止：即日起-2026年11月18日

•作品提交截止时间：2026年11月18日

•省赛赛制：作品题；

•比赛方式：由组委会统一发放比赛地址，请各位选手及时关注。

本次省赛作品提交入口需参赛者完成缴费后，登录赛事个人中心所报赛项查看，不再单独提供外部链接。

作品指导提交截止日期为 2026年11月18日。所有提交作品将进入专家评审阶段，评审意见预计于 2027年1月底 统一发布。

请参赛者根据反馈及时修改完善，并在组委会公布省赛提交链接后，按规定流程完成最终提交。

请严格按以下要求提交作品：

2.作品提交要求：

参赛团队须在规定时间内提交以下完整材料：

（一）作品格式要求

作品介绍文档需包含以下7项核心内容，缺一不可：

1.项目详情及使用方式：智能体应用或测试工具的背景、目标用户、核心功能及操作步骤演示；

2.项目亮点：突出在智能体测试方法论、AI技术应用或测试工具设计上的创新点；

3.AI能力应用说明：需详细说明作品中如何运用AI技术——包括智能体的搭建方案（如提示词设计、工作流编排、工具配置），以及在测试环节中AI的辅助作用（如AI辅助生成测试用例、AI自动判定测试结果等）；

4.关键技术说明：附智能体工作流架构图、测试方案设计图、核心代码片段或Prompt设计样例；

5.项目相关图片/截图：智能体交互界面、测试执行过程截图、测试报告样例等；

6.项目过往发表或获奖情况说明（无则填“无”）；

7.优化说明：若基于其他项目优化，需明确标注优化部分。

提交作品附件仅接受ZIP格式，大小不超过200MB，压缩包命名方式为：

AI智能体测试挑战赛-作品名称

鼓励参赛者在作品提交截止日前，将智能体应用发布至相关平台（如Coze商店、Dify社区等）或开源测试工具代码。

（二）存储与提交要求

1.讲解视频：将作品讲解视频上传至B站、抖音等可公开访问的视频平台，提交时仅提供视频链接。视频需清晰展示智能体应用的实际表现、测试执行过程或工具操作流程，建议时长5-10分钟。

2.截止提醒：复赛/决赛提交截止前3天，官方社群将每日播报提交进度，未按时提交视为自动放弃。

3.奖项设置：

省赛（复赛）

•评审组织：由组委会统一评奖。

•奖项等级与比例：

◦一等奖：≤ 本省参赛人数 10% (颁发荣誉证书，晋级决赛)

◦二等奖：≤ 本省参赛人数 20% (颁发荣誉证书，晋级决赛)

◦三等奖：≤ 本省参赛人数 30% (颁发荣誉证书，晋级决赛)

◦优秀奖：≤ 本省参赛人数 30% (颁发荣誉证书)

•晋级规则：省赛 一、二、三等奖 获得者晋级全国总决赛（决赛）。

4.评审标准：

5.大赛奖项评定规则

每一项评分都会有专门的评审组进行打分，最终得分将根据各项评分的加权总和得出。评审组由专业设计师、AI技术专家和相关领域的学者组成，确保评审过程的专业性和权威性。

奖项比例调整机制：大赛主办方保留根据实际报名人数、选手晋级情况及评审工作实际需求，对各级别奖项预设比例进行适当调整的权利，以保障评审工作的公平性与合理性。

6.获奖资格核心要求：

•零分卷不得奖；

•赛事公布的获奖比例仅作为参考依据，不构成最终获奖承诺；

•组委会专家组将结合赛题难易程度、全体选手整体答题水平，划定各奖项对应的获奖最低分数线，未达到对应分数线的选手，不得参与该奖项评选。

六、国赛安排

1.时间安排：

•报名截止：2026年12月10日-2026年12月21日

•作品提交截止时间：2026年12月27日

•国赛赛制：作品题；

2.作品提交要求：

参赛团队须在规定时间内提交以下完整材料：

（一）作品格式要求

作品介绍文档需包含以下7项核心内容，缺一不可：

1.项目详情及使用方式：智能体应用或测试工具的背景、目标用户、核心功能及操作步骤演示；

2.项目亮点：突出在智能体测试方法论、AI技术应用或测试工具设计上的创新点；

3.AI能力应用说明：需详细说明作品中如何运用AI技术——包括智能体的搭建方案（如提示词设计、工作流编排、工具配置），以及在测试环节中AI的辅助作用（如AI辅助生成测试用例、AI自动判定测试结果等）；

4.关键技术说明：附智能体工作流架构图、测试方案设计图、核心代码片段或Prompt设计样例；

5.项目相关图片/截图：智能体交互界面、测试执行过程截图、测试报告样例等；

6.项目过往发表或获奖情况说明（无则填“无”）；

7.优化说明：若基于其他项目优化，需明确标注优化部分。

提交作品附件仅接受ZIP格式，大小不超过200MB，压缩包命名方式为：

AI智能体测试挑战赛-作品名称

鼓励参赛者在作品提交截止日前，将智能体应用发布至相关平台（如Coze商店、Dify社区等）或开源测试工具代码。

（二）存储与提交要求

1.讲解视频：将作品讲解视频上传至B站、抖音等可公开访问的视频平台，提交时仅提供视频链接。视频需清晰展示智能体应用的实际表现、测试执行过程或工具操作流程，建议时长5-10分钟。

2.截止提醒：复赛/决赛提交截止前3天，官方社群将每日播报提交进度，未按时提交视为自动放弃。

3.奖项设置：

全国总决赛（决赛）

•评审组织：由组委会统一评奖。

•奖项等级与比例：

◦一等奖：≤ 参赛人数 5% (颁发荣誉证书)

◦二等奖：≤ 参赛人数 20% (颁发荣誉证书)

◦三等奖：≤ 参赛人数 35% (颁发荣誉证书)

◦优秀奖：≤ 参赛人数 40% (颁发荣誉证书)

4.评审标准：

5.大赛奖项评定规则

每一项评分都会有专门的评审组进行打分，最终得分将根据各项评分的加权总和得出。评审组由专业设计师、AI技术专家和相关领域的学者组成，确保评审过程的专业性和权威性。

奖项比例调整机制：大赛主办方保留根据实际报名人数、选手晋级情况及评审工作实际需求，对各级别奖项预设比例进行适当调整的权利，以保障评审工作的公平性与合理性。

6.获奖资格核心要求：

•零分卷不得奖；

•赛事公布的获奖比例仅作为参考依据，不构成最终获奖承诺；

•组委会专家组将结合赛题难易程度、全体选手整体答题水平，划定各奖项对应的获奖最低分数线，未达到对应分数线的选手，不得参与该奖项评选。

七、比赛环境与推荐技术栈

智能体开发框架：Dify（推荐，开源且对新手友好）、Coze、LangChain、LlamaIndex

编程语言：Python（推荐）、Java、TypeScript

大模型API：DeepSeek、Qwen、GLM等（建议选择性价比高的国产模型）

测试框架与工具：Pytest、Selenium/Playwright、JMeter/Locust、Postman

大模型评测工具：DeepPeval、RAGAS（专用于RAG质量评估）

数据分析与可视化：Pandas、Matplotlib

版本管理：Git、Gitee/GitHub

八、奖项设置

复赛（省赛）

· 赛区划分：分为 北部赛区、东部赛区、南部赛区、西部赛区、港澳台赛区、境外赛区。

· 评奖方式：各赛区内按科目/组别分别评审排名。

晋级规则：复赛 一、二、三等奖 获得者晋级决赛（国赛）。

决赛（国赛）

优秀指导教师奖：

对指导的参赛队获得 决赛一、二、三等奖 的指导教师，颁发“优秀指导教师”证书。

重要说明：

获奖比例调整权：大赛主办方保留根据实际报名情况、晋级情况及评审需要，对各级奖项比例进行适当调整的权利。

九、违规处理

以下情况将视为违规，竞赛组织委员会有权取消参赛队伍的参赛资格：

1. 参赛报名信息作假；

2. 在参赛过程中出现违反相关法律、法规的行为；

3. 作品涉嫌抄袭，侵犯他人知识产权等（如直接照搬开源硬件设计且未做任何声明及改进）；

4. 作品涉及不健康、淫秽、色情或毁谤第三方等内容；

5. 参赛期间发现或被举报认定存在的其他违法、违规行为。

十、评审专家介绍

刘老师 资深软件测试架构师 黑马程序员研究院测试学科负责人

10年软件开发和测试经验，拥有丰富的企培与校企合作领域培训经验

熟悉多种测试环境搭建，熟练操作数据库，精通Java、Python、H5等主流开发语言

对Web端自动化测试、接口测试具备深厚经验积累

研发成果：《AI智能体测试实战》《智能体质量保障体系白皮书》

10年+软件测试开发经验，熟练使用Java、Python开发语言

擅长功能测试、接口测试、自动化测试、性能测试全栈技术

具备质量管理与项目管理丰富经验，授课幽默风趣，善于激发学员积极性

研发成果：《自动化测试框架设计》《Dify智能体开发与测试全流程》

精通Python、Pandas数据分析、JMeter/Locust性能测试

曾任某金融科技公司测试效能负责人

研发成果：《RAG知识库测试方法论》《智能体性能测试最佳实践》

专注大模型测试、智能体评估与AI安全测试，精通提示词工程与对抗性测试

研发成果：《智能体鲁棒性测试方案》《多轮对话场景测试设计指南》

本赛项最终解释权归传智杯全国IT技能大赛组委会所有。