首页 > 解决方案 > 将网页“图像”保存到变量以供以后使用硒进行处理

问题描述

我的 selenium 脚本打开一个网页,然后使用 css 选择器对 DOM 元素进行逐个处理,进行计算并将值插入数据库。

如果我在不同的线程中执行此计算,我可以加快整个过程,而主线程将打开下一页在该页面上执行所有必需的操作并等待第二个线程完成,然后再做一次。

但是当浏览器离开页面时,我无法再访问 DOM 元素,因为页面已经改变。我想知道是否可以将该网页保存到某个变量中,以便稍后在其他线程中处理,这样我就可以制作某种处理池,整个应用程序将被分成 2 个线程(浏览器线程和处理/insert_db 线程)。

只创建一个 INSERT 查询池是没有意义的,因为 INSERT 并不慢 - 遍历页面元素的整个处理例程很慢

标签: javamultithreadingseleniumgeckodriver

解决方案


推荐阅读