python - 错误:WebElement 没有属性替换
问题描述
我已经从 3 个不同的网站构建了 3 个不同的爬虫,以自动搜索不同公司的特定功能。我已使用以下代码通过线程池进行并行执行
for idx,row in df.iterrows():
try:
company_name = row.project_name
if idx % 50 == 0:
# ms.exit()
ms = moneyhouseScraper()
dnb = dnbScraper()
f = facebookScraper()
with ThreadPoolExecutor() as executor:
moneyhouse_res = executor.submit(ms.get_info, company_name)
time.sleep(7)
dnb_res = executor.submit(dnb.get_annual_revenue, company_name)
time.sleep(7)
f_res = executor.submit(f.get_facebook_info, company_name)
res = moneyhouse_res.result()
get_data_info(idx,df,res)
df.loc[idx,'annual_revenue'] = dnb_res.result()
res_fb = f_res.result()
get_data_info(idx, df, res_fb)
except Exception as e:
print('Exception: ',e)
pass
if idx == 4 :
break
请注意,每个刮板都可以单独工作,输出是特征列表。然而,整个代码的输出是
MoneyHouse:<selenium.webdriver.remote.webelement.WebElement (session="9ec6152d4aaab716ee832d5080848a04", element="bfaae532-e2d7-4837-ac89-06126d815935")> 网址https://www.facebook.com/JDHDirecte/?__tn__= %3C 异常:“WebElement”对象没有属性“replace”
随后的每个抓取工具(Facebook 和 DnB 的)都能够进入我希望抓取的公司的页面,但没有进行抓取,并且没有将任何列添加到最终输出中。
解决方案
推荐阅读
- android - 为注释元素找到错误类型的数据 public abstract int[] butterknife.OnClick.value()
- typescript - 无法传递类型解析为不同重载的联合类型
- ruby - 在没有“下一步”的情况下实施“救援”
- javascript - 我在 Woocommerce 的结帐页面上的 Javascript 滚动功能没有移动到正确的位置
- spring - 使用摘要过滤器的 Spring-boot 摘要身份验证失败
- sql-server - 当源不匹配时从单独的表中更新列
- multithreading - 同步 Open MP 线程的成本
- google-bigquery - 如何选择 LEN > 0 的所有项目
- javascript - 刷新整个页面而不重新加载
- r - 如何使用 RANN 包将最近的坐标点从一个文件添加到另一个文件