Skip to content

操作手册

版本说明

本操作手册基于 v1.4.0 版本编写,部分界面和功能可能与最新版本存在差异。

注意事项

1、 docker部署会自动化初始化一些配置,只需要配置系统管理-LLM配置-填写对应的大模型配置。

2、 docker部署后需要访问:http://localhost:8917/ 下载对应的 bge-m3 、bge-reranker-v2-m3。具体看下方知识库配置。

bash
# 下载模型cmd命令
curl -X POST http://localhost:8917/v1/models -d "{\"model_name\": \"bge-reranker-v2-m3\", \"model_type\": \"rerank\"}"
curl -X POST http://localhost:8917/v1/models -d "{\"model_name\": \"bge-m3\", \"model_type\": \"embedding\"}"

1. 登录

  • 输入账号:admin

  • 输入账号:admin123456

    alt text

2. 首页

  • 登录后默认进入首页

alt text

3. 项目管理

  • 描述:docker部署(推荐)的会有一个默认项目,源码部署需要运行init初始化文件

alt text

  • 项目管理描述

1、平台数据是根据项目进行隔离的

2、admin 可以看见所有的项目,普通用户只能看见自己的项目,添加其他用户为项目成员后,其他用户可以访问被添加的项目。

3、项目中的项目凭证是给AI生成测试用例 时候看的,AI 会获取这里的信息,放到对应的用例之中。

alt text

alt text

4. 需求管理

  • 需求管理描述:AI 进行需求评审并指出问题。

1、上传文件:仅支持提示指出的这些(推荐使用 docx 后缀文件)。

alt text

2、上传后-点击详情或者是点击拆分(其实进入的是一个页面)。

alt text

3、点击模块拆分,根据你文档的真实情况选择对应的H等级(如果没有H等级,可以按照最后的这个字数拆分但是不推荐)。

alt text

alt text

4、点击确定后,确认拆分的模块是否正确,确认无误后点击确认,即可进行需求评审或生成用例。

alt text

alt text

alt text

5、注意:拆分模块后,就可以进行生成用例了,不需要评审之后再进行生成用例。

alt text

6、点击评审,选择AI评审并发数(如果不支持高并发,就选低一点,要不然会报错),点击确认。

alt text

alt text

7、点击确认后,右上角会有实时进度条。

alt text

8、评审完成后,点击查看报告,即可查看各个维度的专项问题及评分。

alt text

alt text

9、评审中时,如想返回查看进度,可点击详情或者查看进度按钮(点那个都一样,进入的也是同一个页面)。

alt text

alt text

10、注意!!!

如何让AI按照你的想法去评审,点击LLM对话 - 点击提示词管理 - 修改对应的提示词内容即可定制评审规范。

alt text

alt text

alt text

5. 智能图表

  • 智能图表描述:AI 根据文本生成对应的流程图等。

1、点击右下角小图标,进行对话

注意!!!当前图片仅保存在浏览器缓存中,如有需要请点击导出

alt text

alt text

alt text

6. 用例管理

6.1 用例管理 - 模块管理

1、添加用例模块:点击操作,点击添加根模块

alt text

alt text

alt text

2、模块后面的数据,表示当前模块下有多少条数据。

alt text

6.2 用例管理 - 添加用例

1、点击右上角添加用例,即可添加用例

alt text

6.3 用例管理 - AI 生成测试用例

注意!!!

生成用例之前需要先检查或创建对应的提示词(也就是生成规则)。

菜单路径:LLM对话 - 提示词管理 - 通用类型的提示词

1、完整生成:根据用户选择的需求文档,知识库内容,根据提示词规范进行生成完整用例(提示词中强烈要求可能会打破规则)。

适用场景:需要AI生成完整的测试用例。

alt text

2、标题生成:根据用户选择的需求文档,知识库内容,根据提示词规范进行生成用例标题(提示词中强烈要求可能会打破规则)。

适用场景:仅需要AI生成对应的测试用例标题名称等。

alt text

3、知识库补全:根据用户选择的知识库内容,根据提示词规范进行补全测试用例的步骤等内容(提示词中强烈要求可能会打破规则)。

适用场景:用户提供测试用例标题名称,步骤备注等内容需要完全根据知识库的历史相似用例进行补全。

alt text

4、知识生成:根据用户选择的需求文档,知识库内容,根据提示词规范进行生成测试用例的步骤等内容(提示词中强烈要求可能会打破规则)。

适用场景:用户提供测试用例标题名称,步骤备注等内容需要完全根据知识库的历史相似用例进行智能生成。

alt text

6.4 用例管理 - 审核状态

1、在列表页面选择审核状态后,点击查看或是编辑,只会显示对应状态的用例。

alt text

alt text

alt text

2、 AI 生成完成后,所有用例默认状态为待审核

alt text

3、当其中某条用例不满意的时候,可点击优化,输入优化建议,AI会再次根据优化建议进行编辑。并把状态改为优化待审核。

alt text

alt text

alt text

alt text

alt text

4、如果AI生成的用例不可用,可以修改状态为不可用(用例列表页面默认不显示不可用状态的用例)。

alt text

5、首页会统计当前项目的AI生成用例的通过率、待审核、待优化、优化待审核、不可用。

alt text

6.4 用例管理 - 执行

1、点击执行,点击确认,AI会调用playwright来执行测试用例。

alt text

2、当勾选生成playwright脚本的时候,AI会根据实际情况,生成对应的playwright脚本。

alt text

3、点击执行后,用例后台执行,可点击弹窗查看执行过程。

alt text

alt text

alt text

4、生成的脚本

alt text

alt text

alt text

7. UI 脚本库

1、可以手动创建或AI创建,AI创建的就会保存在这里。

alt text

2、AI创建的脚本,可以点击右上角的调式,查看实际调用的浏览器的过程。

alt text

alt text

alt text

8. 测试套件

描述:可以批量执行生成的功能测试用例或者是脚本。

alt text

alt text

注意!!!

功能用例的执行依靠大模型,脚本执行纯代码执行。所以选择并发的时候,需要注意大模型的实际支持并发。

1、如果需要为功能测试用例生成对应的playwright脚本,可以勾选这个生成对应的playwright脚本。

alt text

2、执行结果可以在执行历史中查看

alt text

alt text

alt text

9. LLM对话

描述:和AI进行对话。

alt text

alt text

10. 知识库管理

描述:知识库为AI提供额外的知识。

目前采用的是 bge-m3 + BM25 + bge-reranker-v2-m3 实现知识检索。

1、全局唯一配置,整个平台的知识库都使用此处的配置。

alt text

alt text

注意!!!

此处默认配置为docker部署的向量模型,如果有自己的api可以进行更换。

2、新建知识库

alt text

3、点击知识库的名字,进入上传页面,点击上传文件进行上传。

alt text

alt text

注意!!! 上传后需要等待知识库处理完成,才可以进行知识库检索,可以点击刷新查看处理状态。

alt text

4、测试知识库,点击查看,在知识库中随便找一个模块的名字,或者是片段,输入在下面,点击查询。

alt text

alt text

alt text

5、知识库统计,点击列表上的统计按钮即可。

alt text

11. 用户管理

描述:用户管理可以控制用户权限。

alt text

alt text

12. 组织管理

描述:批量控制用户权限。

alt text

13. 权限管理

描述:可以快改修改用户权限

alt text

14. LLM配置

描述:整个平台的AI应用的配置

alt text

alt text

alt text

15. key管理

描述:WHartTest平台的api的key。目前是给 wharttest_mcp 使用的,可以使大模型拥有查询、保存、执行等能力。

注意!!!

如果 WHartTest 平台部署外网访问,强烈建议修改这个默认的key!!!

修改后记得修改 WHartTest_MCP 目录下的 WHartTest_tools.py 中对应的key。

v1.4.0(包括v1.4.0)之后的版本,还需要修改对应的skills。

alt text

16. MCP配置

描述:docker默认会配置俩个mcp。

WHartTest-Tools:使大模型拥有操控wharttest平台的能力。

Playwright-MCP:使大模型拥有操作浏览器的能力。

mcp概念如果不是很清楚,建议了解一下。

alt text

alt text

17. Skills 管理

描述:skills 实现的能力和 mcp 类似。

注意!!!

目前网上的skills都是适配cc的,想要在平台上使用需要修改一下skill.md里面的一些描述和对应脚本文件的路径。

playwright 这个文件有点大,上传会有点慢。耐心的等一会就行。

1、上传WHartTest_Skills目录下的俩个zip文件即可使用。

alt text

alt text

alt text

alt text

注意!!!

mcp 和 skills 开一个就行,不要都开,会乱!!!

提示词对于AI是很重要的,注意维护自己的提示词!!!

AI生成用例效果不好怎么办 ?

AI执行用例没截图怎么办 ?

AI评审需求的关键点不想要怎么办 ?

AI没查知识库怎么办 ?

解决办法:改对应的提示词 or 换一个更聪明的模型!!!