python - Spark 与 Web 异步调用和相同的上下文：问题？

Question

所以基本上我有一个后端服务，它产生一个允许异步调用的API基础，FastApi (Python)并且在这些调用中，我想利用相同的Spark context（我使用pyspark）用于各种目的（即：延迟）但我想了解是否这样做有一些问题：数据泄漏？内存耗尽？一切都崩溃了？

有更好的方法吗？

标签： pythonapiapache-sparkpysparkfastapi