当前位置:首页 > 建站优化 > 正文内容

巴西域名后缀(域名1元购)

zhuangbi888.com2021-04-04 02:32建站优化522

这里简单介绍一下吧,以抓取网站静态、动态2种数据为例,实验环境win10+python3.6+pycharm5.0,主要内容如下:

抓取网站静态数据(数据在网页源码中):以糗事百科网站数据为例

1.这里假设我们抓取的数据如下,主要包括用户昵称、内容、好笑数和评论数这4个字段,如下:

对应的网页源码如下,包含我们所需要的数据:

2.对应网页结构,主要代码如下,很简单,主要用到requests+BeautifulSoup,其中requests用于请求页面,BeautifulSoup用于解析页面:

程序运行截图如下,已经成功爬取到数据:

抓取网站动态数据(数据不在网页源码中,json等文件中):以人人贷网站数据为例

1.这里假设我们爬取的是债券数据,主要包括年利率、借款标题、期限、金额和进度这5个字段信息,截图如下:

打开网页源码中,可以发现数据不在网页源码中,按F12抓包分析时,才发现在一个json文件中,如下:

2.获取到json文件的url后,我们就可以爬取对应数据了,这里使用的包与上面类似,因为是json文件,所以还用了json这个包(解析json),主要内容如下:

程序运行截图如下,已经成功抓取到数据:

至此,这里就介绍完了这2种数据的抓取,包括静态数据和动态数据。总的来说,这2个示例不难,都是入门级别的爬虫,网页结构也比较简单,最重要的还是要会进行抓包分析,对页面进行分析提取,后期熟悉后,可以借助scrapy这个框架进行数据的爬取,可以更方便一些,效率更高,当然,如果爬取的页面比较复杂,像验证码、加密等,这时候就需要认真分析了,网上也有一些教程可供参考,感兴趣的可以搜一下,希望以上分享的内容能对你有所帮助吧。

相关文章

更改网站模板不显示不出来(下载的网站模板怎么使用)

更改网站模板不显示不出来(下载的网站模板怎么使用)

我的解决办法是,在哪里出现错误,就去哪里找错误。我在更新文档时出现这个错误,你们随便,我是直接去Include文件夹里搜寻“模板文件不存在,无法解析文档”这串字符。找到了arc.archives.cl...

过期域名注册抢注(抢注手机域名注册)

过期域名注册抢注(抢注手机域名注册)

国际域名过期65–75天后ICANN会删除,删除之后可以立即注册。国际域名COM NET ORG大约域名从到期到删除的时间为:30+30+5=65天,精确的删除时间网上也是众说不一,有时是75天,带有...

建设企业网站的重要性(企业网站规划与建设)

建设企业网站的重要性(企业网站规划与建设)

随着时代的不断发展,用户对于互联网的要求也越来越高,现在一般的网站已经无法满足用户的需求了,用户更喜欢浏览一些突出个性化的网站,那么,如何建设一个风格迥异的网站呢?一起来了解一下吧! 如今,企业已经...

中国域名被抢注的案例(域名抢注的企业著名案例)

中国域名被抢注的案例(域名抢注的企业著名案例)

  所谓抢注,简单地划分,有两种意义上的抢注:    1。一个从未被注册过的域名的抢注。    这种情况下,一般是域名的注册者预见到该域名潜在的价值,在其他人想到之前把该域名注册下来。此范...

哪里有网站建设商家(哪里的网站建设好)

哪里有网站建设商家(哪里的网站建设好)

若是不懂代码想要快速建站,很多创业者会选择专业的建站工具,模板建站是其中一种。便宜的500元一年,功能齐全点的几千一年。是否专业,可以从这几个维度来考量: 服务过的用户数量,它会直接证明产品是否经受市...

网站建设行业怎么样(济南装饰行业网站建设)

网站建设行业怎么样(济南装饰行业网站建设)

感谢邀请回答,我可以完整的回答你这个问题。首先我要说明一个客观事实,任何行业都有赚钱的,任何行业也有不赚钱的。你的思路决定大部分你的发展。很多不赚钱的,失败的人,就开始找各种理由。说行业不好做,竞争大...

网站空间怎么使用(服务器怎么做网站空间)

网站空间怎么使用(服务器怎么做网站空间)

企业做个网站,要怎么选择什么样的网站存储空间呢,今天跟大家也讲一讲这个问题。首先,你打开一个网站,要求的就是打开速度快,服务器稳定不会打不开的情况出现,那么这个服务器才是个好的服务器。 一般企业网站存...

网站关键词怎么做出来(微博关键词排名怎么做)

网站关键词怎么做出来(微博关键词排名怎么做)

我们都清楚做新网站关键词优化是一个细活,短时间内很难看到效果,想要做好关键词优化,必须要了解相关的优化技术以及日常的优化工作。在做新网站优化的时候会遇到这样的情况,网站优化了很长时间,但是关键词的排名...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。