首页 > Mysql 避免多个线程扫描到的相同数据进行多次处理

Mysql 避免多个线程扫描到的相同数据进行多次处理

业务场景:比如开2个线程去1张表读取数据,然后对读到的数据进行一些异步处理(业务上要求不能在同一条数据,比如id作为主键,值都一样,上执行两次异步处理),现在问题来了,如何保证如果读到相同的数据,只处理一次(不管是从数据库层面还是代码层面进行控制)?

要效率尽可能高的方式


上队列吧,如果自己实现java的queue我没尝试过,考虑以下两个:

redis生产者消费模式
gearmean

各有优劣,你了解下!


1.使用数据预加载或懒加载机制,读取一批待处理数据,记录当前读取到的最大ID值,下次取数从此位置往下读取
2.将待处理的数据放入执行数据队列,在队列数据下降到一定比例后,在预加载一批数据放入队列
3.多个线程读取数据并发处理,处理完毕后更新回数据库
4.必要的时候可以在取数据时更新数据的读取标志信息,放置被其它机器重复读取

【热门文章】
【热门文章】