Spark map算子学习使用详解

map(func):

       1、将func作用到数据集的每一个元素上，生成一个新的数据集并返回

       2、map操作，相当于将RDD中每个Partition,中的每一个数据，都作用上一个相同的操作

   如图：

示例代码：

实现，将某个RDD中的数据+1。

def func_for_map(x): 

 return x+1  

def my_map3():
    conf = SparkConf().setMaster('local[5]').setAppName('sparkTest')
    sc = SparkContext(conf=conf)
    a = sc.parallelize([1,2,3,4,5,6,7])
    b = a.map(lambda x:func_for_map(x)) 

 print(b.collect())
    sc.stop()

结果输出：[2, 3, 4, 5, 6, 7, 8]