amazon-web-services - ec2 上的 Scrapy 和烧瓶
问题描述
所以基本上我是新手，所以请耐心等待。
我有 3 个使用的 python 蜘蛛：scrapy、scrappy-user-agent、pandas、MongoDB。他们每 12 小时抓取大约 150-200 页，并将数据本地存储到 MongoDB 集合中。我有一个烧瓶应用程序，它将 API 端点与集合连接起来，并将数据作为响应返回。
是否可以将两者都部署到同一个 ec2 实例，或者在同一台机器上并行完成报废时，用户的烧瓶和响应速度会变慢吗？
解决方案
可以将它们都部署在同一个实例中。但是，您需要知道两个应用程序使用了多少内存和 CPU，并相应地选择您的实例类型。
鉴于您的网络抓取频率较低，它很可能不会占用太多内存和 CPU，但如果您正在对抓取的数据进行一些繁重的处理，则可能会出现这种情况。
要了解每种实例类型的内存和 CPU 配置：https ://aws.amazon.com/ec2/instance-types/