python - how to parse a website if the url of the search request is changing
问题描述
I have a stock website that I want to parse some content to a csv file for now. I'm using Python requests HTML or beautifulsoap.
The problem is the URL is changing. the website https://www.tadawul.com.sa/
an example of a stock: https://www.tadawul.com.sa/wps/portal/tadawul/market-participants/issuers/issuers-directory/company-details/!ut/p/z1/04_Sj9CPykssy0xPLMnMz0vMAfIjo8zi_Tx8nD0MLIy83V1DjA0czVx8nYP8PI0MDAz0I4EKzBEKDEJDLYEKjJ0DA11MjQzcTfXDCSkoyE7zBAC-SKhH/?companySymbol=6002
This "04_Sj9CPykssy0xPLM...." is periodically changing. why is it changing? how can I parse the webpage?
I found the same data in the page source
is there a better way to parse pages in this website?
解决方案
推荐阅读
- amazon-web-services - Terraform 中的条件集参数
- sql - 如何在没有公共 ID 的情况下返回另一个表中尚不存在的行
- vue.js - 使用 Vue 和 Cypress 使用 Slots 测试组件
- php - 如何将变量名称链接到活动日志描述中?拉拉维尔 8
- java - 如何每 x 米在多边形内创建标记
- firebase - 请求被中止,因为没有可用的实例
- javascript - 如果在 Python 中解析后没有提取下载链接,如何从网站中提取链接。而且 href 属性是 javascript:void(0)
- identityserver4 - GetPropertiesOfSecretVersionsAsync 不包含“WhereAwait”的定义
- php - 什么时候应该使用 RedBean 连接到我的数据库?
- c# - 通过 HTTP 请求使用 C# 读取 Json