流式处理通常可以得到"一次遍历"能够得出来的统计结果,例如求和、平均值等。但如果我需要统计标准差呢?标准差需要进行两次遍历,第一次获得平均值,第二次才能算出标准差。流式处理能否满足这种需求呢?
用spark streaming时可以foreachRDD,保存每个数据
将数据集转成RDD,利用计算出来的平均值,再次求标准差
其实问题可以转化为,如何使同一组数据集在一个时间间隔中被重复使用的问题
RDD操作和编程语言混用
流式处理通常可以得到"一次遍历"能够得出来的统计结果,例如求和、平均值等。但如果我需要统计标准差呢?标准差需要进行两次遍历,第一次获得平均值,第二次才能算出标准差。流式处理能否满足这种需求呢?
用spark streaming时可以foreachRDD,保存每个数据
将数据集转成RDD,利用计算出来的平均值,再次求标准差
其实问题可以转化为,如何使同一组数据集在一个时间间隔中被重复使用的问题
RDD操作和编程语言混用