乱死了！搞不定！求助大佬如何判断文本或字节集编码？

windkey · 发表于 2021-8-13 18:07:43

想读取一些文本文件，分别是ansi，utf8，Shift-JIS等编码在我知道的情况下可以分别这么写

一个用“多字节到文本”，一个用“UTF8到文本”，如果我要循环读取很多掺杂在一起的文档，都是不同的编码，有没有通用的命令？
或者有没有命令判断该用“多字节到文本”还是“UTF8到文本”？

0晨鹤0 · 发表于 2021-8-13 19:42:11

这个很难。需要综合许多种方法，并且结果还不一定准确。
比如哪怕是大名鼎鼎的 visual studio code，也经常判断错编码，尤其是特殊字符比较少的时候。

大概流程就是
1. 读文件头，比如 UTF8 BOM。不过更多时候是无BOM的
2. 按顺序读字节，不同编码有不同的特征，而大部分编码又兼容 asc ii

对于一些特殊格式比如xml,py 等，有特殊的编码定义头，需要尝试解析。

总之，就是非常非常麻烦