python-3.x - 如何可靠地引用一个过程（使用标签或类似的东西）？

Question

我有多个进程（网络爬虫）在后台运行（每个网站一个爬虫）。这些进程是几周前产生/分叉的 python 脚本。我想从一个中心位置（有点像调度程序/管理器 python 脚本）控制（他们侦听套接字以启用 IPC）它们，而进程（刮板）仍然是独立的不相关进程。

我曾考虑使用 PID 来引用每个进程，但这需要在我（重新）启动其中一个爬虫时存储 PID，因为数字和我的用例之间没有语义关系。我只想在启动它时提供一些文本标签以及该过程，以便以后可以引用它。

标签： python-3.xlinuxwindows

Answer 1

pgrep -f按名称和调用模式（包括参数）搜索所有进程。

例如，如果您生成了一个进程，python myscraper --scrapernametag=uniqueid01 那么您可以运行：

TAG=uniqueid01; pgrep -f "scrapernametag=$TAG"

稍后发现进程的PID。