apache-spark - 如何在 Zeppelin 中将数据帧转换为 rdd 以使用 graphX
问题描述
我想在 zeppelin 中使用 graphX 和我的数据框
首先,我的数据框如下。
+---+-----+---+
| id| name|age|
+---+-----+---+
| a| AA| 34|
| b| BB| 36|
| c| CC| 30|
| d| DD| 29|
| e| EE| 32|
| f| FF| 36|
| g| GG| 60|
+---+-----+---+
所以我想将此数据帧转换为 RDD,如下所示。
RDD[(id, (name, age))]
但我不知道如何转换它。
解决方案
使用.rdd
如下:
val result = df.rdd.map(row => (row(0).asInstanceOf[Int], (row(1).asInstanceOf[String], row(2).asInstanceOf[String])))
推荐阅读
- docker - Docker:安装期间的回声输入
- javascript - React:在道具中传递的函数未定义
- c++ - 我的程序没有正确输出结构中的学生数量
- c# - 将 nameof 用于递归泛型类型的属性
- sql - SQL ORDER BY IN SELECT FROM STRING SPLIT 或逗号分隔值
- python - Python:检查用户输入猜测任何项目
- docker - docker 卷权限问题
- r - 导入并合并具有两列但长度不同的多个 .txt 文件
- javascript - React - 在带有图像和条形码的新选项卡上打开一个 html 页面
- powershell - PowerShell 进程,无需导出文件只是为了再次导入它