首页 > scala一段代码看不懂,求解释!

scala一段代码看不懂,求解释!

对scala不熟,这段计数求和的代码看不太懂

麻烦解释一下

最好是能写成python、java版本的


这段代码是基于计算框架Spark的吧?
这段代码,我看出来两个问题:
1.逻辑有问题
2.数据量稍大,会爆掉内存

求count和sum的过程可以改成这样:

val count = a.count
val sum = a.reduce(_ + _)

完全没有scala的味道,这就是用scala语言,java思想写出来的


1,2,3,4,5 => (1,1),(2,3),(3,6),(4,10),(5,15)
看的懂没?
没懂的话,麻烦先看3个月的 scala 语法

后面半截是 spark 的东西,你得先明白 mapPariritions 函数,它的参数是一个函数,这个函数作用于每个分区整体,而不是像 map 作用于每个分区的每个 record

【热门文章】
【热门文章】