现在有大约1亿行数据，无法一次性载入内存，请问该如何去重？
目前想到方案是 read_table 方法设置 chunk_size 逐块读入，迭代每一块调用 unique 方法去重，但是这个方案好像只能对每一块载入内存的数据去重，如果重复数据分散在不同块就没有办法去掉。请教有没有更好的方案？
key：每一行的MD5
value：行号
可以借助redis，用hash结构，存进去的都是不重复的，然后根据行号再组织数据。
这个完全可以用UNIX自带的awk搞定, 效率和内存占用都很犀利, 主要利用了awk数组是hashtable实现的特性。内存占用和去重以后的行数(而不是你的文本内容)成正比。我拿了150w行的文本处理时间是不到3秒
$ wc -l hello
1510230 hello
$ time awk '{ if (!fuckdup[$0]++) { print $0; } }' hello > hello_uniq
real 0m2.589s
user 0m2.263s
sys 0m0.324s
你这一亿行用不了多少内存, 也花不了多长时间
1亿行 文本？
去重，是指 2行完全相同的数据？