您的位置:首页 > 游戏 > 手游 > Python实现一个简单的爬虫程序(爬取图片)

Python实现一个简单的爬虫程序(爬取图片)

2024/11/9 9:26:12 来源:https://blog.csdn.net/catontower/article/details/142247868  浏览:    关键词:Python实现一个简单的爬虫程序(爬取图片)

目录

1、安装爬虫Scrapy

2、新建爬虫项目

3、配置爬虫

4、编写爬虫代码,爬取百度图片

5、运行爬虫程序


使用爬虫需要遵守相关法律和规范!

1、安装爬虫Scrapy

编程环境是Anaconda,其安装和使用见我之前的文章,这里就不赘述了。

首先安装爬虫Scrapy,为了加快下载速度,我用了国内镜像网站,如下所示:

pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple

还需要再安装一下Twisted,否则使用爬虫时会报错。

conda install --channel https://conda.anaconda.org/anaconda Twisted

2、新建爬虫项目

新建爬虫项目test_spider

scrapy startproject test_spider

进入spiders目录,创建baiduSpider.py,域名是要爬取的网站,写错了就无法爬取图片。不过不必担心,这里我们

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com