提取网页中动态加载的内容

在ywbd网站上爬取指定关键字内容。

网页源代码与用chrome审查内容不同，查看网页源代码，发现浏览器对源代码动态渲染加载过得到我们所见的网页。与很多爬虫教学视频不同，这个网址有以下几个问题：

1、查找后左边这个文件的response中有我需要的网址，但是他每次的callback都不相同。

2、左边这个文件headers中的URL我用浏览器打不开，提取出该字段也没用。
————————————————————————————————————————
解决办法
1、采用selenium动态加载网页内容并提取出所需要的网址。
参考网址http://www.jsphp.net/python/show-24-270-1.html

http://www.jsphp.net/python/show-24-270-1.html

2、执行源代码中的脚本程序

https://www.zhihu.com/question/64414811/answer/294149258执行脚本程序

。最后得到动态加载后的文本text内容，采用正则表达式

pattern="http[\\s\\S]*?htm"

提取出网页。

今天的文章提取网页中动态加载的内容分享到此就结束了，感谢您的阅读，如果确实帮到您，您可以动动手指转发给其他人。