AI first方法论

• AI在质量与测试领域的场景和发展

• AI避坑指南

• 质量VS成本VS效率

• ROI分析与度量

• 【案例】AI成熟度诊断工具

流程革命

• AI与敏捷相结合

• 新技术引用步骤

• 大模型的幻觉问题

• 全流程测试引入AI赋能

• CICD引入AI赋能

• 【案例】全局质量建设的AI赋能体系

AI与大模型技术应用案例~ 2小时

AI主要应用技术分类

• AI在各行业的落地应用

• AI技术框架

• AI技术的四要素

• AI模型的研发流程

• 图像算法典型案例

• 语音算法典型案例

• NLP算法典型案例

大模型技术

• 大模型技术演变简史

• 大模型的架构解析

·           Transformer核心原理

• 大模型训练方法和优化技术

• 大模型面临的挑战

主流大模型案例~文文

• 文生文-llama

• 文生文-Qwen

• 文生文-Deepseek

主流大模型案例~文图

• 图生文-llama-vision

• 文生图-stable-diffusion

• 文生视频- CogVideoX

• 视频生文- VideoChat

主流大模型案例~文音

• 文生语音-chatTTS

• 语音生文- whisper

大模型本地化部署与提示词工程 ~ 2小时

OLIama部署应用

• OLIama简介

• 模型参数

• 网络安全隔离

• 部署OLIama环境

• OLIama常用操作命令

• 离线模型CLI接口

• 模型API接口

• UI调试界面

• 【案例】实现离线大模型人机对话

提示词工程

• 什么是提示词工程？

• 提示词万能公式

• 提示词优化方法与技巧

• 【案例】提示词返回精准答案

提示词库与脚本调用大模型

• 维护提示词库

• 关键词匹配

• 开发脚本调用大模型

• 【案例】一键式调用大模型

上机实操

• OLlama部署

• Qwen大模型部署

• 常用命令操作

• 3种方式调用大模型练习

• 提示词优化练习

AI智能体Dify部署与实践 ~ 2小时

Dify概述与主要功能

• Dify平台概述

• Dify的核心功能与优势

• Dify与其他平台对比

• 低代码/无代码开发模式

• 模块化设计与丰富的功能组件

• 工作流与自动化任务

• 多模态应用开发

• 【案例】Dify工作流实现爬虫并提取摘要

RAG概述

• 什么是RAG

• RAG架构

• 检索模块

• 生成模块

• 融合模块

构建本地知识库

• 什么是知识库

• 向量数据库

• 使用Embedding模型将文本转换为数值向量

• 导入文本

• 【案例】导入需求文档并生成测试用例

上机实操

• 部署Dify环境

• 集成本地大模型

• 创建Agent

• 创建聊天助手

• 创建工作流

• 构建本地知识库

• 基于RAG实现需求文档生成测试用例

大模型在质量和效能领域的落地实践 ~ 8小时

大模型在全局质量中应用

• 大模型在全局质量中应用

• 生成Jenkins groovy脚本构建CI pipeline

大模型用于缺陷检测与代码审查

·           Code review概述

·           Code review结果解析

·           Code review结果推送

·           【案例】进行自动化code   review

大模型用于白盒测试代码自动化生成

·           大模型生成白盒测试代码

·           进行自动化白盒测试执行

·           【案例】白盒测试集成至CI流水线

大模型用于测试数据生成

·           数据遍历

·           【案例】大模型根据规则生成测试数据

·           【案例】图像测试数据生成

·           【案例】语音测试数据生成

大模型用于手工测试用例生成

·           需求文档输入

·           代码输入

·           【案例】大模型生成手工测试用例

·           【案例】Dify多模型专家系统生成测试用例

·           【案例】测试用例自动保存至excel

大模型用于测试用例评审

·           测试用例评审维度

·           生成提示词

·           【案例】大模型进行手工测试用例评审

大模型用于接口自动化测试用例生成

·           接口文档输入

·           代码输入

·           接口自动化测试用例生成提示词

·           【案例】大模型生成接口自动化测试脚本

大模型用于UI自动化测试用例生成

·           测试用例输入

·           优化提示词

·           【案例】大模型生成selenium自动化测试用例脚本

·           【案例】大模型生成uiautomator自动化测试用例脚本

大模型用于代码质量评估

·           代码质量评价维度

·           开发代码质量评估脚本

·           【案例】实现提交代码分钟级质量评估反馈

大模型结果优化策略

·           温度微调

·           使用top-k/top-p采样

·           增加上下文信息

·           模型后处理

·           多模型融合

·           【案例】搭建工作流实现结果优化策略

上机实操

·           上机实现上述众多案例

AI模型测试过程与评测指标 ~ 2小时

AI模型测试过程

·           选定评测集

·           部署被测模型

·           标注数据

·           数据质检

·           开发精度指标计算脚本

·           执行脚本评测

·           结果生成与报告汇总

·           模型Badcase分析评价

·           【案例】算法模型评测报告

AI模型精度指标

·           图像与NLP模型主要评测指标

o   准确度

o   精确度

o   召回率

o   F1

·           语音模型主要评测指标

o   WER

o   CER

·           一致性

·           【案例】文本多分类模型评测

大模型agent测试方法与指标 ~ 2小时

大模型智能体测试方法

·           功能测试

·           基准测试

·           多样性测试

·           鲁棒性测试‌

·           性能测试

·           安全性测试

·           公平性与偏见测试

·           A/B测试

·           生产在线评估

大模型智能体评估指标

·           功能正确性

o   BLEU

o   准确率

o   答案相关性

o   忠实度

·           抗噪鲁棒性

o   一致性

o   异常处理成功率

o   对抗攻击成功率

·           安全性

o   有害内容率

o   敏感信息泄露率

·           公平性

o   群体公平性

o   偏见评估指标

·           性能

o   首Token时延

o   整句时延

o   生成速度(OTPS)

o   并发吞吐量

·           用户体验

o   用户满意度

o   会话粘性

全局质量框架体系 ~ 1小时

全局质量框架体系

·           质量左移与右移

·           需求质量

·           代码质量

·           数据质量

·           产品质量

·           线上质量

·           运营分析

·           【案例】全局质量保障流水线建设

·           用户反馈

·           【案例】通过DeepSeek进行用户舆情与情感分析

一切从需求开始

·           需求质量管理

·           需求质量度量

·           用户故事地图

·           需求3步评审法

·           【案例】通过DeepSeek对文档进行自动化评审

质量平台建设与指标度量 ~ 3小时

质量平台架构设计

·           架构设计

·           横向比较

·           环向比较

·           【案例】某项目质量度量平台

质量指标组织级拉通

·           产研测拉通质量标准与度量方法

·           设置KPI考核体系

·           利用OKR管理工具传承质量目标

·           【案例】某项目质量KPI与OKR设定

需求质量度量指标

·           PRD bug数量

·           需求一次评审通过率

·           需求评审准时率

代码质量度量指标

·           缺陷密度

·           如何统计缺陷密度

·           缺陷密度趋势分析

·           【案例】通过DeepSeek进行代码质量评分

提测质量度量指标

·           白盒测试覆盖率

·           提测打回率

冒烟测试质量度量指标

·           冒烟测试集定义

·           冒烟测试通过率

全回归测试质量度量指标

·           需求测试覆盖率

·           回归测试通过率

·           P0 bug数量与占比

性能测试度量指标

·           Cpu/mem资源消耗指标统计

·           响应时间指标统计

·           横向指标对比分析

稳定性度量指标

·           Monkeytest测试自动化

·           崩溃指标统计

·           ANR指标统计

上线环节留观度量指标

·           上线留观问题统计

逃逸缺陷度量指标

·           逃逸缺陷数量

·           逃逸缺陷严重等级标准

·           逃逸缺陷影响范围评估

线上事故度量指标

• 线上事故数量

• 线上事故严重等级标准

• 线上事故影响范围评估

事故处理效率度量指标

• 事故解决效率统计

沙盘演练workshop ~1小时

分组讨论AI赋能落地的场景，代表分享，讲师点评