首页 > 海量数据如何进行批量查询

海量数据如何进行批量查询

问题描述:
100亿数据,数据类型:k-v,批量查询key1/key2/.../keyN,返回结果value1/value2/.../valueN。
日pv: 千万量级, 读多写少。
如何选择存储和程序实现?

类似场景: ip地址批量查询

简单分析:
db选择mysql,百亿数据,需要分库分表,存储引擎选择innodb的话,无法实现批量查询;存储引擎选择myisam,可以利用merge引擎来实现批量查询,但是大量的访问在myisam引擎下会导致数据库同步的延迟

请教选用什么db存储?


key-value类型的数据库推荐使用redis,可以做集群,设置主从,同时要实现数据缓存。。


mongodb也不错,伸缩很好,读多写少.分片,同步都自带机制。很方便


redis似乎很合适,可以考虑一下

【热门文章】
【热门文章】