博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
爬虫的效率和使用python爬取网页照片或视频
阅读量:3958 次
发布时间:2019-05-24

本文共 837 字,大约阅读时间需要 2 分钟。

一、使用python爬取百度http://www.baidu.com首页需要多长时间呢?

使用以下代码测试

import requestsimport datetime #导入一个时间库,用于获取时间,url="http://www.baidu.com"starttime=datetime.datetime.now()#记录下开始运行到这一句的时间,设为开始时间for i in range(100):    r=requests.get(url)endtime=datetime.datetime.now()#记录下运行到这一句的时间,设为结束时间print(endtime-starttime)#输出时间差,就是爬取100次需要的时间了

二、爬取照片

import requestsimport os#导入一个新包,对文件进行操作url="http://b-ssl.duitang.com/uploads/item/201208/30/20120830173930_PBfJE.jpeg"root="G://zhaopian//"#给定照片的地址path=root+url.split('/')[-1]#获取照片原有的名字做为保存到自己电脑上的文件名try:    if not os.path.exists(root):#这个文件夹不存在,        os.mkdir(root)#创建这一个文件    if not os.path.exists(path):#这一个文件不存在        r=requests.get(url)        with open(path,'wb') as f:            f.write(r.content)            f.close()            print("保存成功")    else:        print("文件已存在")except:    print("爬取失败")

转载地址:http://qtmzi.baihongyu.com/

你可能感兴趣的文章