需求
由于疫情的影响,可能大家更加偏向于与家人在周边游~ 所以我们来到去哪儿网的周边游:/p/around
界面如下:
可以看到,我们的周边游也有很多页的数据~如果我们需要去货比n家的话,当然是数据越多越好。但是为了前期分析的便利,我们以第一页为主。那在该页,我们需要获取到的基本信息为:标题,价格,详情页跳转链接
基础需求实现
还是老步骤,在写代码之前,我们需要定位到需求数据所在的url。先来 /p/around 康康把~
F12 打开谷歌自带的工具看到 Network/Preview 确认需要数据是否在该页面
结果发现,OMG,没有想要的数据。咋办呢?
因为最开始提到该数据比较多存在翻页,所以我们就需要揣测一下,数据是否是 ajax 动态加载 的。所以我们操作如下:
有接口出现,八九不离十了。但是为了避免意外,我们进一步到该接口的 preview 进行确认。
在这里,我们就可以开始写一小部分代码获取这一部分数据了。但是,我们还有个需求,如果想要了解一个东西到底好不好,很直观的就是看评价。点进详情页中,如下,点击****条评论。
则会自己定位到下图,那我需要获取的则是好评的条数,中评的条数,差评的条数等等。
那具体看到,实际上这个数据也是动态加载的~所以老套路看看…哇奥,bingo
难道就这么简单?emmm…我们来看一下 Headers,确认一下请求的链接以及请求的方式。
首先,来看一下这个请求链接,貌似之前并没有见过。那如果说其它的详情页的数据链接跟这个是一致的就很好办,but…我们来看一下
emmm…https://后面几个字母不一样呀~那接下来就是要找到每个详情页对应的这个字母(毕竟后面的都是一致的)。怎么来找呢?这个老手破解的思路非常重要,我们来思考:当每个详情页的数据链接都不一样时,我们应该回到开始的页面去搜索。
所以,我们就找到了评论url的出处~源自于第一个获取数据的接口。
其次我们需要注意的是,评论数据的获取是一个post请求,那么当我们光溜溜的直接请求时,就请求不到数据。所以我们往Headers下面来看到post请求需要携带的参数。
如果说,每一个详情页的评论数据的post参数都一致,那么二话不说,直接上代码。但是,这块我们还是得通过对比分析:
https://ukym3./user/comment/product/queryComments.json的请求参数:type: allpageNo: 2pageSize: 10productIds: 3054605399,3402458495,2596939253,149348919rateStatus: ALLhttps://zjjs1./user/comment/product/queryComments.json的请求参数:type: allpageNo: 2pageSize: 10productIds: 2442508559,4227072736,1873936955,4042408069rateStatus: ALL
OMG,脑阔痛~又发现 productIds 都是不一致的,所以猜测这个 productIds 仍然是动态加载的数据,或者是 js 生成的。
先按第一种猜测来把!清空所有加载的数据,然后选择 xhr,进行页面刷新…就一个个瞟,或者搜索都可以~在如下发现数据
就这样找到了,post 请求的参数 productIds~但是因为其是动态的,我们仍然要通过请求来获取,来分析该数据接口的url
https://ukym3./api/duplicateProduct/teamPrice.json?pId=2596939253&month=-10&dep=%E9%95%BF%E6%B2%99&_=1601294926301https://zjjs1./api/duplicateProduct/teamPrice.json?pId=1873936955&month=-10&dep=%E9%95%BF%E6%B2%99&_=1601295518744
这个链接 老Amy 亲测,实际上只要保留到 month 前就可以正常的请求数据,所以我们着重关注如何找到 pId。这个需要在之前瞟的时候,要稍作留意,仍然回到最开始的解析页面搜索~冇(mao)问题
okk,到这里,我们就完成了页面的解析。总结如下:
获取 encodeId–>pId=3948728531 ,summary/supplier/url–>//ukym3.对https://ukym3./api/duplicateProduct/teamPrice.json?pId=2596939253&month=-10 发送请求,获取 变动的4个productIds对https://ukym3./user/comment/product/queryComments.json 发送post请求
然后,代码也有百来行,大概获取了10页的数据,我就不粘贴到下面了,给大家放在公众号后台,需要的话请回复公众号:“国庆去哪儿”暗号获取。