特定数字组合型文本快速去除重复

1185907650 · 发表于 2021-4-30 10:48:25

本源码转载自利快云https://www.lkuaiy.com/

在某些特定情况下，有规律的数字型文本数据，比如全部由0到9这10个数字4个一组组合成一组文本，（0000-9999）这样一万个组合。如果一段文本里面有8000个组合，但里面重复的比较多，下面就提供一个简单好理解的思路，（看最后效果近十万个组合去重只需几十毫秒）先上图

现在我们来说一下思路，0000 0001 0002 0003 ..... 0125 0126 ..... 2538 2539 ......9999这种组合有一万组，那么我么可以看成是数字0到9999，
我们将这每一个组合，如果倒整数那么就是0 1 2 3....125 126 .....2538 2539 .....9999，这样我们就建一个成员数为一万的整数数组，每一个组合倒整数后对应的值就是数组成员中的一个下标值，
然后在将对应下标的成员给他赋值为1，表示这个成员有，这样的话不用去比较，有几种组合就直接循环几次，去掉重复后我们在把组合整理出来，通过观察组合规律，就是不够4位的给前面补几个0保证有4位数字

以上是直接源码调试时测试速度的，下面是编译后的速度，效果杠杠滴（我是将4千多组组合直接粘贴20次在去重，这样每个组合重复有20次）

游客，如果您要查看本帖隐藏内容请回复

大强 · 发表于 2021-4-30 10:53:49

消灭零回复，坐沙发学习……

zqiz · 发表于 2021-4-30 11:11:24

特定数字组合型文本快速去除重复

hyi · 发表于 2021-4-30 13:29:45

没看明白，下载来运行下

hyi · 发表于 2021-4-30 13:41:17

应该要加句判断，要不全是0000到9999了

最棒的英雄 · 发表于 2021-5-5 09:47:04

好东西

苹果2014 · 发表于 2021-5-5 18:24:40

快速去除重复可以秒杀不

benxiaohai · 发表于 2021-5-5 21:43:21

没看明白，下载来运行下

1185907650 · 发表于 2021-7-1 14:14:55

每日一顶

nurjay · 发表于 2021-12-28 17:27:31

消灭零回复，坐沙发学习……

		自动登录	找回密码
密码			立即注册

[视窗] 特定数字组合型文本快速去除重复