1500字范文 > Python爬虫实战之爬取链家广州房价_02把小爬虫变大

Python爬虫实战之爬取链家广州房价_02把小爬虫变大

时间：2021-05-17 13:27:40

问题引入

上一小节简单介绍了单个页面的爬取，涉及到请求和解析两个模块，其中请求使用urllib，解析使用BeautifulSoup，爬取了链家的单个页面，处理了我们想要的页面元素，输出到控制台。我们通过浏览器上网打开页面，来源有两种，一种是已知的地址，如Google，另一种是通过前面爬下来的页面中获取入口，如a标签中的href属性值。通过爬虫自动化获取浏览器可以获取的数据，要模拟浏览器的行为，获取更多入口，然后处理需要处理的网页。

这里提出几个问题，欢迎大家提供更好的解决方案。

01简单的单页爬虫对单页的小区信息进行了爬取，可以参考示例代码，用在售楼盘和成交记录的信息做一个小案例。对请求和处理网页，有没有更好的方法？

01简单的单页爬虫的结果输出到了控制台，后续的存储模块应该如何组织？如何结合多线程或多进程爬取？

思路介绍

前面提到，不管是小区信息、在售楼盘信息还是成交记录信息，总的页面都超过100页，所以要通过曲线救国的方式，先爬小区信息，再循环遍历每个小区的在售楼盘和成交记录。而在爬取小区信息过程中，也是循环遍历行政区(县)，模拟浏览器点击翻页，获取更多入口，然后解析获取的入口，继续弱化存储模块，输出到控制台。

获取更多入口的代码示例

def xiaoqu_batch_crawl(db_xiaoqu=None, region=u'天河'):try:# 天河utf-8: %E5%A4%A9%E6%B2%B3url_region = u'/xiaoqu/rs' + region + '/'req = urllib2.Request(url_region,headers=HDS[random.randint(0, len(HDS) - 1)])source_code = urllib2.urlopen(req, timeout=10).read()plain_text = source_code.decode('utf-8')soup = BeautifulSoup(plain_text, 'html.parser')except (urllib2.HTTPError, urllib2.URLError), e:print ereturnexcept Exception, e:print ereturnpage_data = 'page_data = ' + soup.find('div', attrs={'class': 'page-box house-lst-page-box'}).get('page-data')exec (page_data)total_pages = page_data['totalPage']threads = []for page in range(total_pages):url_page = u'/xiaoqu/pg%drs%s' % (page + 1, region)t = threading.Thread(target=xiaoqu_crawl, args=(db_xiaoqu, url_page))threads.append(t)for t in threads:t.start()for t in threads:t.join()print u'爬下了%s区全部的小区信息' % (region)if __name__ == '__main__':xiaoqu_batch_crawl(db_xiaoqu=None, region=u'%E5%A4%A9%E6%B2%B3')复制代码

待解决问题

在控制台窗口调用程序，如果region参数用region=u'天河'，报错'ascii' codec can't encode characters in position 14-15: ordinal not in range(128)，编码问题是Python届的大坑，加入如下设定编码的惯例解决。

import sysreload(sys)sys.setdefaultencoding("utf-8")复制代码

然而问题来了，Why reload(sys)？

Google say: reload(sys) is evil

您可能还想看

Hadoop/CDH

Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境

Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式

Hadoop实战（3）_虚拟机搭建CDH的全分布模式

Hadoop实战（4）_Hadoop的集群管理和资源分配

Hadoop实战（5）_Hadoop的运维经验

Hadoop实战（6）_搭建Apache Hadoop的Eclipse开发环境

Hadoop实战（7）_Apache Hadoop安装和配置Hue