为什么字节集无法转换成文本？

BYWMnn9QFz59L6

1. https://www.zhhbqg.com/1_1915/
   
2. https://www.xbooktxt.net/34_34398/

复制代码

今天在写一个解析HTML的工具时，发现有的网站访问取不到源代码，分析了一下发现字节集可以获取到，但是没有办法转换成文本

我试了一下上面这两种网站都有这样的问题，通过无名网络访问模块访问得到了字节集，但是有时候转换成文本会失败
这两个站点都是GBK编码的，字节集也已经获取到了，但是转换就会失败，也没有报错信息不知道是哪里的问题
这种情况也不是每次都会发生，有小概率的情况下是可以解析出来内容的，但是大部分时间都解析不出来，其他就没发现什么规律了

但是每次用抓包工具就能抓到结果，这让我很纳闷

我已经测试过了肯定不是请求头的问题，我加了和抓包工具一样的请求头还是同样的结果

BYWMnn9QFz59L6

又测试了一下，同样的代码，同样的网站，我不知道为什么有时候有结果有时候就死活转换不出来

BYWMnn9QFz59L6

这是我的代码，有没有有经验的朋友帮忙看一下是什么出了问题，指点一下，谢谢了！


网页访问.zip (58.22 KB, 下载次数: 0)

2022-8-28 15:28 上传

点击文件名下载附件

创世魂

网页编码是gbk的需要用   多字节到文本   方法

网页编码是utf8的使用   utf8到文本  方法。。


你发的这两个网站都是gbk的网页用  多字节到文本

BYWMnn9QFz59L6

创世魂 发表于 2022-8-28 16:52
网页编码是gbk的需要用   多字节到文本   方法

网页编码是utf8的使用   utf8到文本  方法。。

我第三张图里用的是多字节到文本的，但是有时候就是请求不出来，但用浏览器和抓包软件就能每次都请求出来

server

敢不敢把你获取的数据  事先保存到文件，自己用眼先看看是什么个东西。
看清楚了，是否因为你访问协议头的问题，导致了，你获取的原始网页数据，就是几个GZIP 包呢？？？？

BYWMnn9QFz59L6

server 发表于 2022-8-28 19:38
敢不敢把你获取的数据  事先保存到文件，自己用眼先看看是什么个东西。
看清楚了，是否因为你访问协议头的 ...

明白了！！！
感谢大哥指点迷津，受益匪浅，感激不尽！！！

server

创世魂 发表于 2022-8-28 16:52
网页编码是gbk的需要用   多字节到文本   方法

网页编码是utf8的使用   utf8到文本  方法。。

个别网页服务器，比较恶心，就拿抖音快手来讲，你直接访问得到的就是个gzip网页数据包。除非你加上正确协议头。才能得到明文网页数据。