DoubanPyspider

使用Pyspider框架的豆瓣爬虫

依赖:

python第三方库：pyspider, pymongo, requests
数据库：mongodb
代理池：IPProxy

Usage

安装mongodb， 使用pip安装pyspider和pymongo，在pyspider新建一个爬虫项目，将movie_spider.py文件的内容拷贝到项目中运行即可。