AI 测试新趋势

大语言模型（LLM）应用如何测试？

• 功能测试：提示词效果、工具调用（Function Call）正确性、多轮对话上下文一致性。
• 评测维度：准确性、相关性、鲁棒性、安全性（Prompt 注入/越狱）、幻觉（Hallucination）检测。
• 方法：黄金标准集 + 自动化评估（基于规则/模型评分/人工抽检）、A/B 测试、回归基线（Regression Baseline）对比。

什么是 AI Agent 测试？如何设计用例？

• Agent 测试关注：规划（Plan）合理性、工具选择与参数正确性、执行结果、反思纠错能力、终止条件、超时与失败兜底、安全边界。
• 用例设计：给定任务 → 校验步骤序列、工具调用参数、最终输出、中途异常的恢复行为；配合可观测性（日志、轨迹）与快照对比。

如何用 AI 辅助测试（AI for Testing）？

• 自动生成测试用例（需求/接口描述 → 用例）、自动生成自动化脚本、缺陷分类与优先级推荐、智能断言、截图智能比对（视觉回归）、测试报告自动总结、历史缺陷预测新增风险模块。

什么是视觉回归测试？

• 通过截图对比发现 UI 变化（像素级/感知哈希/Semantic 比对）。工具：Playwright Screenshot、Applitools、pixelmatch。注意处理动态区域（时间、动画）的屏蔽。

提示词（Prompt）工程与测试的关系？

• 提示词是 LLM 应用的"输入"，测试要覆盖：提示词模板变更的回归影响、不同模型的输出差异、长度与格式约束、注入攻击防护、输出解析容错（JSON 解析失败兜底）。

如何评估一个 AI 测试工具/框架选型？

• 从覆盖能力（功能/接口/UI/性能）、稳定性（Flaky 率）、可维护性（代码或配置驱动）、集成能力（CI、缺陷管理）、成本（license、算力）、社区活跃度与技术支持等维度对比，先 POC 试点再推广。