时间戳

首页 > 解决方案 > 从维基百科获取给定类别的所有页面

python-3.x - 从维基百科获取给定类别的所有页面

问题描述

我正在使用Wikipedia-api从给定类别的维基百科页面中提取所有文本。

如教程中所述-

def print_categorymembers(categorymembers, level=0, max_level=2):
    for c in categorymembers.values():
        print("%s: %s (ns: %d)" % ("*" * (level + 1), c.title, c.ns))
        if c.ns == wikipediaapi.Namespace.CATEGORY and level <= max_level:
            print_categorymembers(c.categorymembers, level + 1)


cat = wiki_wiki.page("Category:Physics")
print("Category members: Category:Physics")
print_categorymembers(cat.categorymembers

但我无法构建逻辑，如何做到这一点，这段代码只是给了我所有的页面和一些嵌套到其他页面的页面。怎么做 ？

标签： python-3.xweb-scrapingweb-crawlerwikipedia-api

解决方案

如果要从页面中提取文本，则必须使用text 属性。

因此，您的代码可能如下所示：

cat = wiki_wiki.page("Category:Physics")
print("Category members: Category:Physics")
for p in cat.categorymembers.values():
  if p.namespace == wikipediaapi.Namespace.CATEGORY:
    # it is category, so you have to make decision
    # if you want to fetch also text from pages that belong
    # to this category
    print(p)
  elif p.namespace == wikipediaapi.Namespace.MAIN:
    # it is page => we can get text
    print(p)
    print(p.text)

推荐阅读