spark-structured-streaming - 尝试为 spark 结构化流执行 s3-sqs qubole 连接器
问题描述
我正在尝试关注https://github.com/qubole/s3-sqs-connector并尝试加载连接器,但似乎连接器在 maven 上不可用,并且在手动生成 buiold 时未加载 sqs 类。有人可以指导我吗?
谢谢, 迪佩什
解决方案
更新:
S3-SQS 连接器现已在 maven Central 上发布。 https://mvnrepository.com/artifact/com.qubole/spark-sql-streaming-sqs
您现在应该可以使用它了。如果您遇到任何问题,请与我们联系。
不幸的是,s3-sqs-connector 在 spark-packages 中的注册仍在等待中。我们将尝试尽快在 maven Central 中直接发布该软件包,但至少需要几天时间。
同时,如果需要,您可以克隆存储库并自己构建 jar。
推荐阅读
- performance - Visual Studio Code C++ Intellisense 性能问题
- javascript - 当我使用导入的 Google 字体时,我无法在 JS 中获得 div 的真实高度?
- vim - 自动关闭标签在 neo vim 中不起作用
- python - 使用多处理时如何设置 Gunicorn 的工作人员以共享数据/状态?
- javascript - BackEndUrl 未定义
- c++ - 从 ifstream 中读取整数。在将 ifstream 传递给函数时
- artifactory - 从 JFrog 提取新图像时出现“未知 blob”错误
- tensorflow - 张量流 2.3 中的回调
- python - 编辑 django 消息时出现语法错误
- python - 新安装的 Python 3.9 找不到 Jupyter notebook 或其他模块