python - 模拟一系列相互依赖的调用
问题描述
我有一种方法可以抓取网页并将数据保存到文件中(参见下面的示例代码)。我需要测试生成的数据是否格式正确。
问题是,数据是从一系列调用中接收的,并且进一步的调用使用之前调用的结果。更糟糕的是,所涉及的许多调用都是在具有不同参数的相同对象(a Webdriver
、aWebDriverWait
和expected_conditions
模块)上完成的。
我看到unittest.mock.Mock
可以mock一个简单调用的结果,或者一系列简单调用的结果,但是看不出怎么实现这样纠结的东西。我看到的唯一方法是手动重新实现该方法进行的每个调用,并将我在该方法中传递的参数复制到这些实现中,以便他们知道每次调用要返回什么。并为所有其他测试用例再次执行此操作。这听起来绝对是编写和维护的噩梦:代码比测试本身多几倍,并且与代码接近 1:1 重复。所以我拒绝继续,直到有人告诉我有更好的方法或证明没有更好的方法并且每个人都真的这样做(我不相信)并且例如每次页面上的标签更改时重写所有测试(这是一个实现细节,所以通常,它应该
示例代码(适用于http://example.com):
import selenium.webdriver
from selenium.webdriver.common.by import By as by
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
def dump_accreditation_data(d, w, i, path):
f = codecs.open(os.path.join(path, "%d.txt" % i), "w", encoding="utf-8")
u = u'http://example.com/%s/accreditation' % i
d.get(u)
# page load
w.until(EC.visibility_of_element_located((by.XPATH,"//p"))) #the real code has a more complex expression here with national characters
w.until_not(EC.visibility_of_element_located((by.CSS_SELECTOR, '.waiter')))
print >> f, u
# organization name
e = w.until(EC.visibility_of_element_located((
by.CSS_SELECTOR, 'h1'
)))
org_name = e.text
print >> f, org_name
del e
#etc
e = d.find_element_by_xpath(u'//a[text()="More information..."')
print >> f, e.get_attribute('href')
#How it's supposed to be used:
d = selenium.webdriver.Firefox()
w = WebDriverWait(d, 10)
dump_accreditation_data(d, w, 123, "<output_path>")
解决方案
对于现在的代码,我同意,按照您描述的方式进行单元测试没有多大意义。但是,这不仅仅是因为它需要大量的工作:测试的目标当然是发现代码中的错误。单元测试的目标是找到可以在隔离单元中找到的错误。但是,您的示例代码的很大一部分与与外部库的交互有关。
算法级别的代码相对较少,例如:
os.path.join(path, "%d.txt" % i)
或者
u = u'http://example.com/%s/accreditation' % i
或创建输出文件内容。
也就是说,如果代码中存在错误,它们更有可能出现在交互级别:使用正确的参数、具有正确格式的参数等以正确的顺序调用正确的库函数。 - 使用库的模拟,但是,您不会发现交互错误,因为模拟是由您实现的,并且只会反映您(可能是错误的)对库行为的理解。
我对测试此代码的建议是:将算法代码与与库交互的代码分开。例如,您可以创建小的帮助函数来计算输出文件名和输入 url。您可以在代码的交互主导部分中,从网页中提取所有数据,然后(在单独的函数中)使用所有这些数据创建输出文件内容。
然后可以使用单元测试对这些辅助函数进行测试。您将通过集成测试测试的其余功能。
推荐阅读
- python-3.x - 用于具有行间和定义函数的分组数据的 Python For 循环
- regex - 反馈答案的正则表达式超过 10 字(谷歌表格)
- python - 如何创建具有边和角的三角形图像
- java - 如何使用 JSqlparser 获取 SQL 查询标记的层次结构和位置?
- git - intellij 项目结构需要重新导入模块 SDK 并在切换分支后构建它
- prometheus - prometheus(或grafana)查询来评估grafana loki使用的存储?
- mysql - 多次使用 SQL WHERE/AND 错误
- macos - MacOS 自制软件在 VirtualBox 上的 Big Sur Beta VM 上失败
- java - 考虑到 ArrayList 没有大小限制,Java 中 LinkedList 的目的是什么?
- reactjs - 材质 ui 选项卡在移动视图上不可滚动