web-scraping - 使用 html 标签从谷歌搜索页面抓取网页

Question

我正在尝试进行谷歌搜索并将前 5 个结果（标题/URL）放入 excel 文档中。

我尝试使用“数据抓取”，但根据搜索词，谷歌会显示不同的页面。有时它会有视频、图像或相关的搜索词。所以大多数时候，我实际上无法从页面中获取所有结果，因为 uiPath 无法识别它们，可能是因为 div 不同。所以我的想法是通过 html 标签获取它们，因为每个标题都使用 H3，但我找不到这样做的方法。

还尝试了 find children > get attributes 但没有成功，我觉得这可能是最好的方法，我只是没有足够的试验来使它工作。尝试了几个小时。

任何人都有类似的问题并找到了解决方案？

标签： web-scrapinguipath

Answer 1

当我这样做之前，我必须进行多次刮擦才能获取数据。第一次抓取将获得初始页面结果，然后您可以执行第二次以获取第 2 页上的数据。我曾遇到过必须在第一页上进行多次刮擦才能获取所有信息的情况，但在第 1 页之后，数据是一致的且易于刮取。希望这可以帮助。