首页 > mongo shard扩容遇到了问题---新的shard被写入的数据量很少,move chunk很慢很慢

mongo shard扩容遇到了问题---新的shard被写入的数据量很少,move chunk很慢很慢

我当前正在为一组shard扩容

之前是3 shard,70亿数据,1.2T,2.4.3

当我将其扩容到6 shard之后发现几个问题:

  1. 通过mongostat查看mongos,发现每秒的写入量在500个左右,而新增加的shard分到的写入量在1~5个左右,也就是老的shard上的写入量依旧很大,而新shard的写入量很低,所以导致新写入数据的chunk无法均衡分散。

  2. move chunk经常出现too big的问题,我查看了chunk size是32M,我把它调整到了64M后跑了一晚上,刚才看了下balancer依然会出现这个错误,更令人奇怪的是错误日志里报出too big的estimatedChunkSize实际上只有20M~50M,小于我的chunk size。

  3. move chunk进行的非常非常缓慢,一般一晚上能move chunk在20个左右。我的每一条数据都很小,是:{"_id":BinData(x,xxxxxxxxx),stat:1}这样的东西。

请解答,谢谢


MongoDB sharding 中moveChunk过程中chunkTooBig原因分析

【热门文章】
【热门文章】