首页 > 关系型数据库用做统计分析

关系型数据库用做统计分析

最近朋友提了个需求,有十亿条记录,放在一个表里面,1-2G左右。字段都是浮点数。

现有情况下,能不能实现SQL count, sum ,group by 这样的分析

起初我以为,1-2G左右,都可以直接加载到内存了,用内存数据库应该是妥妥的。 所以用了一个SQLite,生成了一亿条记录,3G左右,十个字段,都是随机整数。

完了之后,试图用 select count(*) from data,直接报了 Out of Memory 错误 (机器是服务器,32G内存)。

我想问一下,现有的SQL关系数据库,到底可以实现这种 数据不大,但量很多的 统计分析吗?

目前暂不考虑hadoop 和其他分治算法。就是兴趣想研究一下,能不能用 SQL实现。


参考numpy


其实简单来说,最好是数据库做存储和简单查询。复杂条件数据库肯定不如专业软件。比如elasticsearch

【热门文章】
【热门文章】