apache-spark - 如何从 Spark 调用 AWS Lambda 服务
问题描述
我想获取我的 Spark 数据帧的每一行，并通过一个微服务处理数据，该微服务返回一个新值（列表），然后我可以将其添加为新列。由于数据帧将同时处理，因此我的想法是将其构建为 UDF，然后调用将动态扩展的亚马逊 lambda 微服务。
这种架构可行还是以前做过？如果这是推荐的方法，该怎么做？
解决方案
推荐阅读
- linux - 打印输出到终端
- laravel - 如何使用 Carbon 库获取 isoFormat('LL') 日期但最后没有年份？
- angular - angular 8 ngx-datatable 页脚未显示
- arm - 注册号是奇数？
- c# - 在使用 LanguageExt 时使用替代/默认返回来处理“失败”？
- r - 有没有一种方法可以根据每个点的条形图将点图覆盖在条形图上？
- python - Pandas for 循环没有用 iloc 正确更新行？
- kubernetes - 使用fluentd，我只想从json数据中输出一个关键数据
- java - 从 ehCache 卸载已编译的 XSLT (xsltExecutable)
- javascript - 在 Javascript 中替换 $n1 - $nx