确实我思路错了，REDIS可以直接cha询是否重复。。。 根本没必要一条一条来

数据库不都有查重， 去重，删重功能吗？  MYSQL，MS ACC 我用得比较多，都有这个功能的。

我也看不懂，取出数据库数据一条一条对比有什么意义？虽然我没有用过redis数据库，但是数据库的优势不就是cha询快吗？直接cha询数据库没有重复的添加，有的不管不就行了，为何还要取出来一条条对比，意义何在？

a2521298 发表于 2021-7-15 08:22
我是上头出新数据  然后调用这个方法来对比数据库里面的去重， 需要单条单条对比，虽然是在线程里面，但 ...

还是不懂。但是可以给你一个方案，数据库查出后转成set，不要用列表。然后通过判断set中是否含有某元素就行了。也就是楼上说的哈希表。

0晨鹤0 发表于 2021-7-14 22:45
没太看懂你的具体需求。

redis 的 set 集合本来就是唯一的 不需要去重呀。直接 SADD my {value} 就行了。 ...

我是上头出新数据  然后调用这个方法来对比数据库里面的去重， 需要单条单条对比，虽然是在线程里面，但是还是太慢了

没太看懂你的具体需求。

redis 的 set 集合本来就是唯一的 不需要去重呀。直接 SADD my {value} 就行了。、
比如执行 SADD my test1;  SADD my test2; SADD my test1。
最后 my 集合只有两个元素：test1 和 test2，不会出现两个 test1 的。

换个方法去重.

小蜗牛 发表于 2021-7-14 19:44
去重可以用哈希表呀

我需要入库  多终端使用

去重可以用哈希表呀