递归火山软件开发平台

标题: 分享轮胎:探测编码 [打印本页]

作者: 小蜗牛 时间: 2021-8-16 03:12
标题: 分享轮胎:探测编码
本帖最后由小蜗牛于 2021-8-16 16:42 编辑

最近分享模块..感觉大家都不喜欢模块..而是喜欢轮子..
模块就暂时不发了...个人感觉比较实用的轮子就单独分享了...

检测字节集是否储存GBK/GB2312之外的字符..
如果储存了GBK/GB2312之外的字符,那么则认为是UTF-8编码..

应用场景:
1:采集非特定网页..不知道网站回应的是什么编码的情况下..
2:用户选择文件,不知道用户选择的文件是什么编码的情况下..

(, 下载次数: 72)

作者: 小蜗牛 时间: 2021-8-16 03:38
本帖最后由小蜗牛于 2021-8-16 07:27 编辑

探测编码没有100%的准确率...任何人都做不到这一点...
文字越多的情况下,判断准确率越高..相反,文字越少,误判的可能性就越大...特别是两个UTF-8汉字的组合...

比如在记事本输入:"看戏"保存编码为UTF-8
然后探测编码会认为是GBK,解码内容为:"鐪嬫垙"
这时,为了更高的准确率,应该使用GB2312...
但是,这样也会导致一些问题,如果记事本里面,储存了GBK之内,GB2312之外的字符..
那么也会被误判为UTF-8..所以,取舍自己决定...

作者: 创世魂 时间: 2021-8-16 11:32
源码没上传。。

作者: dengzf 时间: 2021-8-16 12:48
测试下试试

作者: dengzf 时间: 2021-8-16 12:49
没有源码

作者: IvzCX 时间: 2021-8-16 15:25
这个确实有需求，有时XML没有声明编码，需要探测一下

作者: 小蜗牛 时间: 2021-8-16 16:40

创世魂发表于 2021-8-16 11:32
源码没上传。。

哈哈...选错文件了,抱歉

作者: 小蜗牛 时间: 2021-8-16 16:42

dengzf 发表于 2021-8-16 12:49
没有源码

抱歉...上传好了

作者: 芒g一号 时间: 2021-8-16 18:58
看一下学习下

作者: 网络注册会员 时间: 2021-8-16 21:15

看一下学习下

作者: aycap 时间: 2021-8-17 09:57
较实用的轮子就

作者: 67564226 时间: 2021-8-18 12:44

作者: qiuzhi 时间: 2021-8-18 12:46
:噜阿噜~~~~~~~~~~~~~~~~~~~~

作者: 网猫 时间: 2021-8-19 00:09

作者: 15019935800 时间: 2021-8-19 08:29
看一下学习下

作者: windkey 时间: 2021-8-19 20:19
本帖最后由 windkey 于 2021-8-19 20:21 编辑

蜗牛大佬nb！一直在用你的多线程模块，贼好用。求加好友。我的企鹅[qq]403817673[/qq]

作者: ruanjian 时间: 2021-8-22 19:53
学习谢谢

作者: nurjay 时间: 2021-9-1 11:29
测试下试试

作者: 67564226 时间: 2021-9-1 12:59
这个应该官方加进核心库里面了，这个功能是一个非常常用的东西。

作者: matali 时间: 2021-9-24 13:59

看一下学习下

作者: sfz0316 时间: 2021-9-24 14:00
网页编码不是直接可以获取吗

作者: lukeigun 时间: 2021-10-28 16:29
感谢分享，下载学习！

作者: 玻璃杯1 时间: 2021-10-28 16:35

看一下学习下

作者: 米粒 时间: 2021-10-28 18:29
谢谢分享

作者: ltqlmt888 时间: 2021-11-5 19:19
测试下试试

作者: wtuauwfn 时间: 2022-2-18 17:18
有原码吗，学习一下

作者: JamesHM 时间: 2022-2-20 21:53
学习一下！！！

作者: jy04908072 时间: 2022-3-17 23:20
输出 (字节集到文本(编码_Unicode转Ascii (name)))输出 (字节集到文本(编码_Unicode转Ascii (name)))

作者: 781732825 时间: 2022-4-7 16:21
看一下学习下

作者: 韦贝贝 时间: 2022-5-14 09:00
测试下试试

作者: 伟业 时间: 2022-5-14 11:54
学习....

作者: 800214 时间: 2022-12-13 19:32
如果您要查看本帖隐藏内容

作者: 一泽 时间: 2023-1-9 18:09
看看

作者: leing 时间: 2023-1-13 18:21
来康康

作者: alanwoo 时间: 2023-1-15 13:37
学习看下！~

作者: 黑色毛嗑儿 时间: 2023-10-15 14:03
学习学习

作者: yh2393105053 时间: 2023-10-15 14:17
看看帖子里藏了啥好东西~~~

作者: 君安光电科技 时间: 2023-12-9 14:27
666

作者: Pomelo 时间: 2024-1-3 20:18
谢谢

作者: 唐兀 时间: 2024-1-18 12:58
学习一下

作者: 雪很冷 时间: 2024-9-5 13:07
感谢小蜗牛大佬的分享

作者: 拒绝吃鱼的猫 时间: 2024-9-5 23:54
继续探测中

作者: wu5492579 时间: 2024-9-6 09:07
感谢小蜗牛大佬的分享

欢迎光临递归火山软件开发平台 (https://bbs.voldp.com/)