python - 需要有关使用 BeautifulSoup api 抓取 facebook 评论的帮助

Question

我尝试了这个漂亮的汤代码，从这个链接中抓取来自 facebook 的评论：https ://python.gotrained.com/scraping-facebook-posts-comments/为了使代码与网站上给出的主要完整代码分开运行，一个需要将用户名和密码放在 json 结构化凭据文件和要抓取的公共 Facebook 页面列表上（链接上给出了两者的示例）。我按照说明运行代码，但得到以下错误：

INFO:root:[*] Logged in.
Traceback (most recent call last):
  File "/Users/vivekrmk/Documents/Github_general/scrape_fb_beautiful_soup/facebook_scrapper_soup.py", line 215, in <module>
    posts_data = crawl_profile(session, base_url, profile_url, 100)
  File "/Users/vivekrmk/Documents/Github_general/scrape_fb_beautiful_soup/facebook_scrapper_soup.py", line 72, in crawl_profile
    show_more_posts_url = profile_bs.find('div', id=posts_id).next_sibling.a['href']
AttributeError: 'NoneType' object has no attribute 'a'

当我在主代码中注释第 70 到 76 行时：

    # show_more_posts_url = None
    # if not posts_completed(scraped_posts, post_limit):
    #      show_more_posts_url = profile_bs.find('div', id=posts_id).next_sibling.a['href']
    #      profile_bs = get_bs(session, base_url+show_more_posts_url)
    #      time.sleep(3)
    # else:
    #      break

我能够以 json 格式获取输出，其中包含除评论字段外的所有字段（即发布 url、发布文本和 media_url）中的值——它是一个空白列表。需要上述帮助，以便我也可以抓取评论。提前致谢！

标签： pythonfacebookbeautifulsoupcomments