python-3.x - 从 word hippo 抓取网页

Question

我有一个关于从单词 hippo 中抓取单词的问题。我是 Beautiful Soup 的新手，不知道如何获得这个单词列表（如下所述）

我正在尝试获取页面以下部分下的所有同义词（即使是“更多”按钮下方的那些同义词。

第 1 节

第 2 节

#My code.
import requests
from bs4 import BeautifulSoup

response = requests.get("https://www.wordhippo.com/what-is/another-word-for/guard.html")
soup = BeautifulSoup(response.content, 'html.parser')

# select only first '<section class="synonyms-container....'
synonyms = soup.select('.MainContentContainer > section > .synonyms-container a')
print ('synonyms for: Guard')
for synonym in synonyms:
            print (synonym.text)

请帮助提取这些单词的列表。

提前致谢。

标签： python-3.xweb-scrapingbeautifulsoup

Answer 1

单词在.relatedwords类容器中，要让第一部分和第二部分循环两次。

synonyms = soup.select('.relatedwords')
for i in range(0, 2):
    print ('synonyms section ' + str(i + 1))
    print (synonyms[i].text)

如果您想将每个单词存储为列表使用synonyms[i].split("\n")