python - 使用 python 从网站上抓取数据列表的最佳方法
问题描述
我正在从网页中抓取数据以在 API 中使用,并寻找最 Pythonic/最合适的方式来实现它 - 页面源有一个名为“markerData”的字典列表,我需要获取 lat 和 lng 值。
数据样本:
"markerData": [{"docEl":null,"lid":0,"clickable":true,"lat":34.0489281,"lng":-111.0937311,"title":"","iconURL":"/ /assets.bankofamerica.com/images/mapmarker2.png","info":"</div>查看亚利桑那州的所有位置</a></div></div></div></div></ div>"}, {"docEl":null,"lid":1,"clickable":true,"lat":35.20105,"lng":-91.8318334,"title":"","iconURL":"/ /assets.bankofamerica.com/images/mapmarker2.png","info":"</div>查看阿肯色州的所有位置</a></div></div></div></div></ div>"},
我过去曾多次使用 python 的 lxml 模块来完成此类任务,但是看到我的“markerData”不是一个明显的 html 结构,我试图找出最好的方法。具体来说,在下面的函数中,我一直试图为我的每个 lat 和 lng 值定义 tree.xpath。
lats = []
lngs = []
def get_coordinates():
i = 0
while i < 35:
page = requests.get('https://locators.bankofamerica.com/&check_list=4429#')
tree = html.fromstring(page.content)
lat = tree.xpath('//div[@id=mapWrap/markerData/lat/text()'.format(i))
lng = tree.xpath('//div[@id=mapWrap/markerData/lng/text()'.format(i))
str1 = ''.join(lat)
str2 = ''.join(lng)
lats.append(str1)
lngs.append(str2)
i += 1
return lats, lngs
我也无法抗拒可能有一种更简单的方法可以做到这一点的感觉,例如将整个页面源读入文本文件并尝试仅获取“markerData”列表。
我将不胜感激为我的 lat 和 lng 值定义 xpath 的任何帮助,或者关于如何隔离和捕获这些数据的任何替代想法。
解决方案
这是我编写的为我完成工作的函数,以防它可以帮助处于类似情况的其他人:
def get_coordinates():
page = requests.get('https://locators.bankofamerica.com/&check_list=4429')
tree = html.fromstring(page.content)
lat_lng = tree.xpath("//script[contains(., 'markerData')]/text()")
lat_lng_string = str(lat_lng)
latitude = re.findall('"lat":\d+\.\d+', lat_lng_string)
longitude = re.findall('"lng":-\d+\.\d+', lat_lng_string)
la = re.findall('\d+\.\d+', str(latitude))
lo = re.findall('-\d+\.\d+', str(longitude))
coords = dict(zip(la, lo))
return coords
推荐阅读
- javascript - 使用 apollo-datasource-rest 从响应中读取标头
- ruby-on-rails - 为什么 sidekiq 在我指定的那一刻运行,而不是每小时运行?
- python - Python:如何传递行和下一行 DataFrame.apply() 方法?
- sql-server - 遍历表并使用 SHA256 base64 哈希对字段进行编码
- haskell - 如何使用 HSpec 集成/提升/注入自定义 monad 堆栈?
- python - 从python中的文本文件中读取特定数据
- vba - 当用户单击表单上的文本框时,如果还没有 ID,我需要为当前记录分配一个 ID
- django - Django - 基于客户端设备的 CKeditor 动态图像大小
- python - python Mysql中的分层数据库
- javascript - 使用 Javascript/JQuery 在 HTML 表中动态填充新行