首页 > mysql数据库插入10亿条数据,查询出所有的数据,检索某一条数据,数据库该如何设计,分表该如何做

mysql数据库插入10亿条数据,查询出所有的数据,检索某一条数据,数据库该如何设计,分表该如何做

数据表的字段如下:

id:主键
title:文章标题
content:文章内容
time:发布时间
readcount:阅读次数

主要问题描述

1、昨天测试了一下,直接for循环插入,一次最多只能插入7W条的数据,而如果我现在想一次性插入10亿条的数据,插入过程该如何书写?
2、现在手上没有分部署数据库、没有服务器,只在本地测试
3、考虑性能优化,一张表已经不能满足需求了,因此我可能需要多张分表来处理,这些分表该如何设计?每一张表里面存储多少条数据合适?
4、如果我还需要将这10亿条数据全部查询出来做分页,怎么优化比较合适?
5、如果我需要检索其中的某一条数据,如何做到快速查询?
6、新增一个:对这10亿条数据按阅读次数从大到小排序

目前考虑到的就是这些,谢谢。


  1. 大数据量插入,这个没有诀窍,得需要时间来插入。
  2. 想高效查询出大数据量中的数据,可以考虑使用缓存数据库redis。
  3. 分表的话,可以按hash算法分散值来建表。
  4. 按阅读次数做排序,也可以用redis中的sortset。

1、超时了吧?是的话,加上超时限制的代码,比如php的就是set_time_limit(0);
2、装虚拟环境试验;
3、分表跟你自己具体的业务有关;
4、参考博文:http://zhangxugg-163-com.iteye.com/blog/1677437
5、索引+热点数据缓存+分表+分库

【热门文章】
【热门文章】