web-scraping - 抓取 Spectrum 社区数据的最佳方式是什么？
问题描述
我想抓取 Spectrum 频道数据。我正在考虑使用抓取工具，例如Puppeteer以用户身份登录并抓取某个频道。我能想到的一个问题是，在我加入之前，我可能无法访问所有聊天记录的历史记录。你怎么解决这个问题？
解决方案
在该站点上创建一个用户，然后在抓取代码中使用这些凭据。它将具有所需的所有访问权限。我使用了 HtmlAgilityPack，我觉得它非常适合这个。
推荐阅读
- docker - 如何修复 Docker 权限定义
- java - 从持久化实体 JPA 中删除列表的对象
- php - PHP多维数组 - 将值复制到不同的列键
- reactjs - 在useeffect路由器之前反应appjs触发
- batch-file - 运行 Rselenium 后批处理文件突然关闭
- apache-flink - PARTITION BY with TUMBLE 导致 FlinkSQL 出现异常
- bash - 如何从bash脚本调用perl sub获取返回值？
- javascript - jquery div元素悬停更改div中的txt元素
- python - Python循环遍历csv列表并检查值？
- pine-script - 如何为多个十字架设置警报？