python-3.x - 如何长时间（几个月）运行代码（使用 BeautifulSoup 抓取）？

Question

所以我想在韩国抓取一些公开的请愿数据。我试着每小时刮一次它们大约 3 个月。

我使用 BeautifulSoup 来获取数据，并在 Spyder 中使用 3.6 版本的 Python 运行它。

问题是，它每隔几天就会被冻结。当我搜索它时，原因似乎是 RAM，因为它不断累积 RAM 空间的使用。

所以我现在要做一个四处走走。我希望你们能给我很好的建议来运行代码大约几个月，因为我在编程方面是个新手。

这就是我要做的：

1. 制作 Crawling.py 代码并使用 Pyinstaller 将其转换为 Crawling.exe

• Crawling.py 将每 1 小时收集一次请愿数据，例如 1:00、2:00、3:00 等。
• 它还将每 20/40 分钟制作一个带有时间戳的 txt 文件（YYYY/MM/DD HH:MM），例如 1:20、2:20、3:20 等。

2. 制作 Checking.py 代码并使用 Pyinstaller 将其转换为 Checking.exe

• Checking.py 将在创建时间戳后每 5 分钟检查一次时间戳 txt。因此它将检查时间戳 1:25、1:45、2:25、2:45 等。
• 但是如果时间戳与之前的时间相比没有修改，则代码必须被冻结。所以它会终止以前的 Crawling.py 并再次重新运行 Craling.py，它会给我一些信息，它只是重新运行它。
• 如果它重新运行，我将重新启动我的笔记本电脑，以便它可以刷新它的 RAM。

问题是，我不确定Checking.exe是否有可能比Craling.exe更早被冻结......

我想在几个月或几年内每小时获得一次不错的系列数据。关于长时间运行它有什么好主意吗？希望你们能一如既往地启发我。先感谢您。

标签： python-3.x