python - Selenium 和 BeautifulSoap，抓取 JS 生成的部分页面

Question

我正在尝试抓取由 JS 生成的页面的一部分，因此源代码中不存在该值。

我正在使用 Selenium（第一次）和 BeautifulSoap（熟悉这个）。

注意：该网址是成人网站！

这是我的代码：

import sys
import urllib2
from selenium import webdriver
from selenium.webdriver.firefox.options import Options
from bs4 import BeautifulSoup
import re
import pandas as pd
import os

url = "https://www.kink.com/shoot/5540"

options = Options()
options.headless = True
driver = webdriver.Firefox(options=options)
driver.implicitly_wait(30)
driver.get(url)

soup = BeautifulSoup(driver.page_source, 'lxml')

print url

print soup

但是我得到的汤不包含 JS 生成的位。

我特别需要仅显示“平均评分：58 评分”的评分部分。

我错过了什么？

标签： pythonseleniumweb-scrapingbeautifulsoup