requests.get为什么得到的内容和查看源文件不一样?

requests.get为什么得到的内容和查看源文件不一样?由于初学爬虫尝试着在beausoup库和re正则间来回爬去加强对两种方法的理解但是利用正则的时候出现了一个这么个问题源文件打开找到的元素在requests.get竟然没有.当我们输出一下html.text时我们发现竟然和源文件不一样具体操作如下headers={‘User-Agent’:’Mozilla/xxxxxxxxxxxxetaSr1.0′,’Host…

requests.get为什么得到的内容和查看源文件不一样?

由于初学爬虫 尝试着在beausoup库和re正则间来回爬去加强对两种方法的理解 但是利用正则的时候出现了一个这么个问题

源文件打开 找到的元素 在requests.get竟然没有.当我们输出一下html.text时我们发现 竟然和源文件不一样

具体操作如下
headers={‘User-Agent’:’Mozilla/xxxxxxxxxxxxetaSr 1.0′,
        ‘Host’:’tieba.baidu.com’,
         ‘Referer’:’http://tieba.baidu.com/i/i/fans?u=4f5fe69d8ee4b9904d16′,
        ‘Cookie‘:’BAIDUID=ED02DEFE60A617EF43B8F0F72EDE4DE6:FG=1; BIDUPSID=ED02DEFE60A617EF43B8F0F72EDE4DE6;
PSTM=1508720102;TIEBA_USERTYPE=e916512815a19960b624ed59; bdshare_firstime=1508724078966; FP_LASTTIME=1510621935104;
TIEBAUID=151fb0a2f5bc99698d3e338b;rpln_guide=1; BDUSS=pBOFZsUG5PdFAxMnFtQU5DWEIxMDVOTWYyZWxyczB-
fm10cjVPaElCQ0d2anRhQVFBQUFBJCQAAAAAAAAAAAEAAABPX00WwO7A1gAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
AAAAAAAAAAAAIYxFFqGMRRaZk; STOKEN=180a7f530458725c97dfccdcbe99215e0ad64c49b8bc8e47d74a59bbbb9c0874; fixed_bar=1;
wise_device=0;LONGID=374169423;
Hm_lvt_98b9d8c2fd6608d564bf2ac2ae642948=1512029668,1512050336,1512050702,1512089508;Hm_lpvt_98b9d8c2fd6608d564bf2ac2ae642948=1512092098
; BDRCVFR[feWj1Vr5u3D]=I67x6TjHwwYf0; PSINO=2;H_PS_PSSID=1466_21092_18559_25178_22075; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598′,
        }
 

把自己的 headers 加在get中就可以爬到和源文件一样的内容了

今天的文章requests.get为什么得到的内容和查看源文件不一样?分享到此就结束了,感谢您的阅读,如果确实帮到您,您可以动动手指转发给其他人。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:https://bianchenghao.cn/28466.html

(0)
编程小号编程小号

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注