首页 > 如何利用流式处理来统计标准差?

如何利用流式处理来统计标准差?

流式处理通常可以得到"一次遍历"能够得出来的统计结果,例如求和、平均值等。但如果我需要统计标准差呢?标准差需要进行两次遍历,第一次获得平均值,第二次才能算出标准差。流式处理能否满足这种需求呢?


用spark streaming时可以foreachRDD,保存每个数据
将数据集转成RDD,利用计算出来的平均值,再次求标准差

其实问题可以转化为,如何使同一组数据集在一个时间间隔中被重复使用的问题
RDD操作和编程语言混用

【热门文章】
【热门文章】