selenium - 如何制定测试自动化策略？

Question

我想获得有关如何根据开发人员签入的内容运行自动冒烟测试的意见。目前，当开发人员提交时，jenkins 作业被构建以构建代码并运行冒烟测试以测试应用程序。但烟雾测试包含 50 多个测试。您将如何设计自动化，以便当开发人员签入时，自动化仅针对可能受新签入影响的应用程序功能运行？这是我们的流程：Dev 签入 git repo，jenkins 作业通过 web hook 触发并构建应用程序，一旦构建完成，就会有一个下游作业来运行烟雾测试。我想将冒烟测试限制为仅测试受新签入影响的功能。

标签： seleniumautomated-tests

Answer 1

您可以确定产品的哪些区域可能会受到影响，但不能 100% 确定。不要依赖那个。您不希望有未知来源的回归。它们极难分类，持续集成的最大优点之一是每个更改或少量更改都经过单独测试，并且您随时都知道您的应用程序出了什么问题，而无需花费大量时间进行调查。一组 50 个测试 10 分钟实际上非常好。如果运行测试的唯一问题是消耗的时间，为什么不考虑使它们并行而不是减少测试套件。我宁愿加快测试执行阶段而不是减少测试套装。