web-services - Spark：使用 Spark 应用程序中的 Web 服务的最佳实践

Question

我想将一些地理信息添加到数据框中。ia 对于数千行，我想调用一个 Web 服务，以纬度和经度作为参数，WS 返回一个新字段的值。我应该使用 UDF 来做到这一点。

但是，我觉得会有很大的性能问题；Web 服务可能被过度使用并减慢整个应用程序的速度。

是否有关于使用 spark 应用程序中的 WS 的最佳实践？

标签： web-servicesapache-sparkapache-spark-sql