1500字范文,内容丰富有趣,写作好帮手!
1500字范文 > python数据爬下来保存在哪里

python数据爬下来保存在哪里

时间:2023-09-09 17:08:58

相关推荐

python数据爬下来保存在哪里

后端开发|Python教程

python

后端开发-Python教程

源码分享资源网,vscode还原压缩代码,ubuntu 最小分区,xampp和tomcat共存,pyth爬虫,php pdo 查询数据,前端如何优化网站seo,discuz网站模板免费模板,单q聊天模板lzw

昨天下班后忽然兴起想写一个爬虫抓抓网页上的东西。花了一个钟简单学习了python的基础语法,然后参照网上的例子自己写了个爬虫。 (推荐学习:Python视频教学)

2048 html5军旗源码,ubuntu查看漏洞,tomcat如何外网登陆,jsp数据爬虫,php 多参数,seo站群怎么制作灰词排名lzw

python数据爬下来保存在本地,一般是文件或数据库中,但是文件形式相比要更加简单,如果只是自己写爬虫玩,可以用文件形式来保存数据。

510k源码,vscode简体中文版,ubuntu限制root,图片存放在tomcat,eBay爬虫课程,php在线模拟器,青岛关键词优化seo推广lzw

#coding=utf-8import urllib.requestimport reimport os \Urllib 模块提供了读取web页面数据的接口,我们可以像读取本地文件一样读取www和ftp上的数据urlopen 方法用来打开一个urlread方法 用于读取Url上的数据\ def getHtml(url): page = urllib.request.urlopen(url); html = page.read(); return html; def getImg(html): imglist = re.findall(img src="(http.*?)",html) return imglist html = getHtml("/question/34378366").decode("utf-8");imagesUrl = getImg(html); if os.path.exists("D:/imags") == False: os.mkdir("D:/imags"); count = 0;for url in imagesUrl: print(url) if(url.find(.) != -1): name = url[url.find(.,len(url) - 5):]; bytes = urllib.request.urlopen(url); f = open("D:/imags/"+str(count)+name, wb); f.write(bytes.read()); f.flush(); f.close(); count+=1;

经测试,基本功能还是可以实现的。花的较多的时间就是正则匹配哪里,因为自己对正则表达式也不是非常熟悉。所以还是花了点时间。

注:上面的程序基于 python 3.5。python3 和 python2 还是有些区别的。我刚开始看基础语法的时候就栽了一些坑里。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。