递归火山软件开发平台

标题: 为什么字节集无法转换成文本？ [打印本页]
作者: BYWMnn9QFz59L6    时间: 2022-8-28 15:18
标题: 为什么字节集无法转换成文本？
本帖最后由 BYWMnn9QFz59L6 于 2022-8-28 15:35 编辑
  1. https://www.zhhbqg.com/1_1915/
  2. https://www.xbooktxt.net/34_34398/
复制代码
今天在写一个解析HTML的工具时，发现有的网站访问取不到源代码，分析了一下发现字节集可以获取到，但是没有办法转换成文本

我试了一下上面这两种网站都有这样的问题，通过无名网络访问模块访问得到了字节集，但是有时候转换成文本会失败
这两个站点都是GBK编码的，字节集也已经获取到了，但是转换就会失败，也没有报错信息不知道是哪里的问题
这种情况也不是每次都会发生，有小概率的情况下是可以解析出来内容的，但是大部分时间都解析不出来，其他就没发现什么规律了

但是每次用抓包工具就能抓到结果，这让我很纳闷

我已经测试过了肯定不是请求头的问题，我加了和抓包工具一样的请求头还是同样的结果



作者: BYWMnn9QFz59L6    时间: 2022-8-28 15:27
又测试了一下，同样的代码，同样的网站，我不知道为什么有时候有结果有时候就死活转换不出来



(, 下载次数: 35)
作者: BYWMnn9QFz59L6    时间: 2022-8-28 15:28
这是我的代码，有没有有经验的朋友帮忙看一下是什么出了问题，指点一下，谢谢了！


(, 下载次数: 0)
作者: 创世魂    时间: 2022-8-28 16:52
网页编码是gbk的需要用   多字节到文本   方法

网页编码是utf8的使用   utf8到文本  方法。。


你发的这两个网站都是gbk的网页用  多字节到文本
作者: BYWMnn9QFz59L6    时间: 2022-8-28 19:07
创世魂 发表于 2022-8-28 16:52
网页编码是gbk的需要用   多字节到文本   方法

网页编码是utf8的使用   utf8到文本  方法。。

我第三张图里用的是多字节到文本的，但是有时候就是请求不出来，但用浏览器和抓包软件就能每次都请求出来
作者: server    时间: 2022-8-28 19:38
敢不敢把你获取的数据  事先保存到文件，自己用眼先看看是什么个东西。
看清楚了，是否因为你访问协议头的问题，导致了，你获取的原始网页数据，就是几个GZIP 包呢？？？？
作者: BYWMnn9QFz59L6    时间: 2022-8-28 20:44
server 发表于 2022-8-28 19:38
敢不敢把你获取的数据  事先保存到文件，自己用眼先看看是什么个东西。
看清楚了，是否因为你访问协议头的 ...

明白了！！！
感谢大哥指点迷津，受益匪浅，感激不尽！！！
作者: server    时间: 2022-8-28 21:18
创世魂 发表于 2022-8-28 16:52
网页编码是gbk的需要用   多字节到文本   方法

网页编码是utf8的使用   utf8到文本  方法。。

个别网页服务器，比较恶心，就拿抖音快手来讲，你直接访问得到的就是个gzip网页数据包。除非你加上正确协议头。才能得到明文网页数据。



欢迎光临 递归火山软件开发平台 (https://bbs.voldp.com/) Powered by Discuz! X3.4