python - 将 libsvm 格式的 pysaprk 数据帧保存到 s3
问题描述
我有一个包含两列的 pyspark 数据框 -features和label.
features是我经过多次变换后创建的稀疏向量，最后使用 vectorassembler. 我想以 libsvm 格式将此数据帧写入 s3，但我正在努力获得有关如何做到这一点的任何线索。
编辑 1：寻找解决方案而不将数据框转换为 RDD
解决方案
推荐阅读
- libp2p - 关于在 libp2p 主机中启动新流的一些问题
- r - 如何在一张图中按两个不同的组制作多个箱线图？
- ruby - Selenium Chrome，“点击”操作需要无限时间才能完成
- python - 希望在 Pandas 数据框中合并/连接/分组不同的行
- apache2 - Angular2 部署
- python - 从python中的模块导入运算符的语法
- vim - 如何关闭vim latex中的自动隐藏功能？
- python - 为什么 max([1.0,1]) 为 1.0 而 max([1,1.0]) 为 1？
- python-3.x - Python3中的字符串比较
- android - 如何设置 Widget ListTile 隐藏