时间戳

首页 > 解决方案 > Python - “NoneType”对象没有属性“find_next_sibling”

python - Python - “NoneType”对象没有属性“find_next_sibling”

问题描述

我试图制作一个维基百科爬虫，它获取“另见”链接文本，然后输入标签链接到的网址。但是，文章的“另见”部分（这是一个无组织的列表）没有任何类或 id，所以我使用方法“find_next_sibling”得到它。接下来，它会遍历那里的每个链接的 Wikipedia 页面，并执行相同的操作。这是我的代码：

import requests
from bs4 import BeautifulSoup


def wikipediaCrawler(page, maxPages):

    pageNumber = 1
    while pageNumber < maxPages:
        url = "https://en.wikipedia.org" + page
        sourceCode = requests.get(url)
        print(sourceCode)
        plainText = sourceCode.text
        soup = BeautifulSoup(plainText, "html.parser")
        ul = soup.find("h2", text="See also").find_next_sibling("ul")
        for li in ul.findAll("li"):
            print(li.get_text())
        for link in ul.findAll('a'):
            page = str(link.get('href'))
            print(page)
        pageNumber += 1


wikipediaCrawler("/wiki/Online_chat", 3)

它正常打印第一页。问题是，每当它尝试切换页面时，我都会收到此错误：

Traceback (most recent call last):
  File "C:/Users/Shaman/PycharmProjects/WebCrawler/main.py", line 23, in <module>
    wikipediaCrawler("/wiki/Online_chat", 3)
  File "C:/Users/Shaman/PycharmProjects/WebCrawler/main.py", line 14, in wikipediaCrawler
    ul = soup.find("h2", text="See also").find_next_sibling("ul")
AttributeError: 'NoneType' object has no attribute 'find_next_sibling'

我打印请求函数，它显示“Response<200>”，所以它看起来不像是权限问题。老实说，我不知道为什么会这样。有任何想法吗？提前致谢

编辑：我知道它搜索的维基百科文章都包含带有文本“另见”的标签。在这种情况下，它搜索了“Voice_chat”文章，尽管它在那里，但没有找到任何东西。

标签： pythonweb-scrapingbeautifulsoupwikipedia

解决方案

我认为您想要在开始“另请参阅”部分 <ul>的标签之后。h2

找到它的一种方法h2是使用CSS 选择器找到正确的标签，然后抓取父元素（the h2），然后从那里获取下一个兄弟元素：

def wikipediaCrawler(page, maxPages):

    #...

    soup = BeautifulSoup(plainText, "html.parser")

    see_also = soup.select("h2 > #See_also")[0]
    ul = see_also.parent.find_next_sibling("ul")

    for link in ul.findAll('a'):
        page = str(link.get('href'))
        print(page)

wikipediaCrawler("/wiki/Online_chat", 3)

输出：

/wiki/Chat_room
/wiki/Collaborative_software
/wiki/Instant_messaging
/wiki/Internet_forum
/wiki/List_of_virtual_communities_with_more_than_100_million_active_users
/wiki/Online_dating_service
/wiki/Real-time_text
/wiki/Videotelephony
/wiki/Voice_chat
/wiki/Comparison_of_VoIP_software
/wiki/Massively_multiplayer_online_game
/wiki/Online_game
/wiki/Video_game_culture

推荐阅读