web-scraping - 无法使用 BeautifulSoup 抓取嵌套表

Question

我一直在尝试使用,requests_html和. 每当我尝试在线（通过使用or ）进行操作时，我的代码都无法在表格中找到标签，如下例所示：requestsBeautifulSouprequests.getrequests_html.HTMLSession()

r = requests.get(url=url, verify=False)

soup = BeautifulSoup(r.text, 'html.parser')
div = soup.find('div', class_='collapse-3')
print(div)
#None

这div是在一个部分内。

我已经尝试渲染页面：

with HTMLSession() as session:
    r = session.get(url=url, headers=headers)

r.html.render()

div = r.html.find('div.collapse-3')
print(div)
#None

但没有成功。只有当我下载 HTML 并加载它时它才会起作用。

我使用 Selenium 找到了这个和这个解决方案，但它们并没有解决问题，我需要一个不依赖 Selenium 的解决方案。据我所知，问题在于我需要的信息在一个迭代表中，这阻止了我访问其中的信息。

欢迎任何建议！谢谢大家！

标签： web-scrapingbeautifulsouppython-requestsrequestpython-requests-html

Answer 1

直接从源获取数据（以 JSON 形式返回）。然后读入熊猫：

import requests
import pandas as pd

url = 'https://www.portaltransparencia.gov.br/licitacoes/item-licitacao/resultado'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36'}
payload = {
'paginacaoSimples': 'false',
'tamanhoPagina': '1000',
'offset': '0',
'direcaoOrdenacao': 'asc',
'colunaOrdenacao': 'descricao',
'colunasSelecionadas': 'codigoItemCompra,descricao,descComplementarItemCompra,quantidade,valor,cpfCnpjVencedor,nome',
'skCompra': '205900728',
'_': '1633966570617'}

jsonData = requests.get(url, headers=headers, params=payload, verify=False).json()
df = pd.DataFrame(jsonData['data'])

输出：

print(df)
          codigoItemCompra  ...                         descComplementarItemCompra
0   1551260500022202100059  ...  ARTIGO PARA HIGIENE NO LEITO, TIPO LIMPADOR DE...
1   1551260500022202100004  ...  BANDAGEM ELÁSTICA, MATERIAL ALGODÃO, TIPO AUTO...
2   1551260500022202100003  ...  BANDAGEM ELÁSTICA, MATERIAL FITA MICROPOROSA, ...
3   1551260500022202100005  ...  BANDAGEM ELÁSTICA, MATERIAL NÃO TECIDO POROSO,...
4   1551260500022202100012  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
5   1551260500022202100010  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
6   1551260500022202100008  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
7   1551260500022202100017  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
8   1551260500022202100009  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
9   1551260500022202100016  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
10  1551260500022202100006  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
11  1551260500022202100014  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
12  1551260500022202100015  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
13  1551260500022202100013  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
14  1551260500022202100007  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
15  1551260500022202100018  ...  BOTA DE UNNA, COMPOSIÇÃO IMPREGNADA COM PASTA ...
16  1551260500022202100019  ...  CINTA ELÁSTICA, MATERIAL POLIÉSTER, TIPO ABDOM...
17  1551260500022202100020  ...  CLAMP INSTRUMENTAL, MODELO VASCULAR- BULLDOG, ...
18  1551260500022202100056  ...  COBERTURA, TIPO DE COBERTURA FILME TRANSPARENT...
19  1551260500022202100024  ...  COBERTURA, TIPO DE COBERTURA FILME TRANSPARENT...
20  1551260500022202100045  ...  CREME HIDRATANTE, COMPOSIÇÃO URÉIA E ÁCIDO LÁT...
21  1551260500022202100022  ...  CURATIVO, MATERIAL POLIURETANO, DIMENSÃO CERCA...
22  1551260500022202100035  ...  CURATIVO, TIPO HIDROCOLÓIDE, MATERIAL POLIURET...
23  1551260500022202100049  ...  CURATIVO, TIPO HIDROGEL, REVESTIMENTO REVESTID...
24  1551260500022202100038  ...  CURATIVO, TIPO HIDROPOLÍMERO, REVESTIMENTO REC...
25  1551260500022202100057  ...  CURATIVO, MATERIAL POLIÉSTER, REVESTIMENTO REV...
26  1551260500022202100040  ...  CURATIVO, MATERIAL ACETATO DE CELULOSE, REVEST...
27  1551260500022202100046  ...  CURATIVO, TIPO HIDROCOLÓIDE, MATERIAL POLIURET...
28  1551260500022202100034  ...  CURATIVO, TIPO MEMBRANA COM MICROPARTICULA DE ...
29  1551260500022202100047  ...  CURATIVO, TIPO HIDROCOLÓIDE, MATERIAL POLIURET...
30  1551260500022202100037  ...  CURATIVO, MATERIAL NÃO TECIDO, REVESTIMENTO PR...
31  1551260500022202100036  ...  CURATIVO, TIPO HIDROGEL, REVESTIMENTO REVESTID...
32  1551260500022202100025  ...  CURATIVO, TIPO HIDROGEL, MATERIAL POLIURETANO ...
33  1551260500022202100063  ...  CURATIVO, TIPO HIDROCOLÓIDE, MATERIAL POLIURET...
34  1551260500022202100051  ...  CURATIVO, TIPO HIDROGEL, REVESTIMENTO COM ALGI...
35  1551260500022202100041  ...  CURATIVO, MATERIAL POMADA, REVESTIMENTO C/ CAD...
36  1551260500022202100023  ...  CURATIVO, TIPO HIDROPOLÍMERO, MATERIAL POLIURE...
37  1551260500022202100039  ...  CURATIVO, MATERIAL NÃO TECIDO, REVESTIMENTO PR...
38  1551260500022202100029  ...  LENÇO DESCARTÁVEL, MATERIAL POLIPROPILENO E CE...
39  1551260500022202100031  ...  PELÍCULA ADESIVA, MATERIAL ADESIVO ACRÍLICO HI...
40  1551260500022202100001  ...  PELÍCULA ADESIVA, MATERIAL ADESIVO ACRÍLICO HI...
41  1551260500022202100002  ...  PLACA PERIOSTOMAL, MATERIAL DA PLACA HIDROCOLÓ...
42  1551260500022202100061  ...  POLIHEXANIDA, COMPOSIÇÃO ASSOCIADA À UNDECILAM...
43  1551260500022202100021  ...  PROTETOR CUTÂNEO, ASPECTO FÍSICO EM CREME, COM...
44  1551260500022202100033  ...  PROTETOR CUTÂNEO, ASPECTO FÍSICO EM CREME, COM...
45  1551260500022202100032  ...  PROTETOR CUTÂNEO, ASPECTO FÍSICO EM CREME, COM...
46  1551260500022202100055  ...  PROTETOR CUTÂNEO, ASPECTO FÍSICO EM PÓ, COMPOS...
47  1551260500022202100028  ...  PROTETOR CUTÂNEO, ASPECTO FÍSICO PLACA, MATERI...
48  1551260500022202100060  ...  PROTETOR CUTÂNEO, ASPECTO FÍSICO EM CREME, COM...
49  1551260500022202100054  ...  PROTETOR CUTÂNEO, ASPECTO FÍSICO EM SPRAY, COM...
50  1551260500022202100050  ...  SOLUÇÃO, TIPO À BASE DE BIGUANIDA (PHMB), CONC...
51  1551260500022202100027  ...  TERAPIA DE PRESSÃO NEGATIVA P/ FERIDAS, TIPO C...
52  1551260500022202100030  ...  ÁCIDOS GRAXOS ESSENCIAIS, COMPOSIÇÃO TCM, COMP...

[53 rows x 10 columns]

没有有效载荷：

import requests
import pandas as pd

url = 'https://www.portaltransparencia.gov.br/licitacoes/item-licitacao/resultado?paginacaoSimples=false&tamanhoPagina=1000&offset=0&direcaoOrdenacao=asc&colunaOrdenacao=descricao&colunasSelecionadas=codigoItemCompra%2Cdescricao%2CdescComplementarItemCompra%2Cquantidade%2Cvalor%2CcpfCnpjVencedor%2Cnome&skCompra=205900728&_=1633967219449'

jsonData = requests.get(url, headers=headers, params=payload, verify=False).json()
df = pd.DataFrame(jsonData['data'])