一：变换操作
rdd中有元组,元组只能是key,value结构,适用于下面很多方法
1.map
val conf = new SparkConf().setAppName("HelloWorld").setMaster("local")
val sc = new JavaSparkContext(conf).sc
sc.textFile("/software/java/idea/data").collect().map(x=>println(x)) //几乎和sparksql一样
2.flatMap
sc.textFile("/software/java/idea/data").collect()
.flatMap(x => x.split("\\|"))
.map(x=>println(x)) //将数组转换为单个对象
3.mapValues
sc.textFile("/software/java/idea/data")
.flatMap(x => x.split("\\|")).map(x=>(x,1))
.mapValues(x=> x + 9) //对于 key value的rdd,循环value
4.flatMapValues
sc.textFile("/software/java/idea/data").map(x=>(1,x))
.flatMapValues (x=>x.split("\\|"))//对于 key value的rdd,循环 float value
.collect().map(x => println(x))
5.filter
val conf = new SparkConf().setAppName("HelloWorld").setMaster("local")
val sc = new JavaSparkContext(conf).sc
sc.textFile("/software/java/idea/data").collect()
.filter(x => x.contains("aa")) //过滤操作
6.collect
sc.textFile("/software/java/idea/data").map(x=>(1,x))
.collect().map(x => println(x)) //collection 是action操作,只有遇到action操作,才会执行
7.foreach
sc.textFile("/software/java/idea/data").map(x=>(1,x))
.collect().foreach(x => println(x))//功能类似map
8.distinct
sc.textFile("/software/java/idea/data").map(x=>(1,x)).distinct()//去重复
.collect().foreach(x => println(x))
二：查找取值操作
1.take
val some = sc.textFile("/software/java/idea/data").take(1)//不排序随机取一个
println(some.mkString("|"))
2.top
val some = sc.textFile("/software/java/idea/data").top(1)//排序desc后取一个
println(some.mkString("|"))
3.keys
val some = sc.textFile("/software/java/idea/data")
.flatMap(x=>x.split("\\|")).map(x=>(x,1)).keys//取出来所有的key,仍然是rdd
some.collect().map(x=>println(x))
4.values
val some = sc.textFile("/software/java/idea/data")
.flatMap(x=>x.split("\\|")).map(x=>(1,x)).values//取出来所有的value,仍然是rdd
some.collect().map(x=>println(x))
5.takeOrdered
val some = sc.textFile("/software/java/idea/data")
.flatMap(x=>x.split("\\|")).map(x=>x.toInt)
.takeOrdered(3)//排序asc后取一个
some.map(x=>println(x))
6.takeSample
val data = sc.textFile("/software/java/idea/data")
.flatMap(x=>x.split("\\|")).map(x=>x.toInt)
//第一个参数withReplacement ，表示采样是否放回，true表示有放回的采样，false表示无放回采样；
//第二个参数num，表示返回的采样数据的个数，这个也是takeSample函数和sample函数的######7.区别；
// 第三个参数seed，表示用于指定的随机数生成器种子 可选
println(data.takeSample(true,3).mkString("|"))
println(data.takeSample(true,3).mkString("|"))
println(data.takeSample(true,3).mkString("|"))
8.lookup
val data = sc.textFile("/software/java/idea/data")
.flatMap(x=>x.split("\\|")).map(x=>(x.toInt,x.toInt))
println(data.lookup(2))//返回列表