首页 > 解决方案 > Google App Engine:为 Scrapy + Splash 加载另一个 Docker 映像

问题描述

我想在 Google App Engine 中使用 Scrapy + Splash 抓取一个 javascript 网站。Splash 插件是一个 Docker 镜像。有没有办法在 Google App Engine 中使用它?App Engine 本身使用 Docker 映像,但我不确定如何加载和访问辅助映像(这就是 Splash 的使用方式)。这是 Splash 安装说明

标签: dockergoogle-app-enginescrapyscrapy-splashsplash-js-render

解决方案


您可以在 App Engine 柔性环境中使用自定义运行时。

自定义运行时允许您构建在 Dockerfile 定义的环境中运行的应用程序。通过使用 Dockerfile,您可以使用不属于 Google Cloud Platform 的语言和包,并使用在 App Engine 柔性环境中使用的相同资源和工具。

探索有关自定义运行时的更多信息。请注意,当您使用自定义运行时时,您必须编写应用程序代码来处理一些灵活的环境生命周期和健康检查请求。查看如何构建自定义运行时以获取更多信息。


推荐阅读