目录:
重写框架自带媒体管道类部分方法实现保存图片名字的自定义:1.爬虫文件:2.items.py文件中设置特殊的字段名:3.settings.py文件中开启自建管道并设置文件存储路径:4.编写pipelines.py5.观察可发现完美实现:它的工作流是这样的: 更改爬虫文件实现多页爬取:拓展:媒体管道的一些设置:重写框架自带媒体管道类部分方法实现保存图片名字的自定义:
spider文件中要拿到图片列表并yield item;item里需要定义特殊的字段名:image_urls=scrapy.Field();settings里设置IMAGES_STORE存储路径,如果路径不存在,系统会帮助我们创建;使用默认管道则在settings.py文件中开启:scrapy.pipelines.images.ImagesPipeline: 60,自建管道需要继承ImagesPipeline并在settings.py中开启相应的管道;可根