GitHub - AlexYangLong/SimpleSpiders: Some simple spiders are written by python.

Branches Tags

Name		Name	Last commit message	Last commit date
Latest commit History 17 Commits
BQK-novel-spider		BQK-novel-spider
Doutu-spider		Doutu-spider
JRTT-spider		JRTT-spider
JS-spider		JS-spider
Lagou-spider		Lagou-spider
MMjpg-spider		MMjpg-spider
MYDY-spider		MYDY-spider
NHDZ-spider		NHDZ-spider
QQzone-spider		QQzone-spider
QSBK-spider		QSBK-spider
TXSZ-spider		TXSZ-spider
Weather-spider		Weather-spider
XCDL-spider		XCDL-spider
proxies_pool		proxies_pool
scrapy01		scrapy01
selenium		selenium
urllib-text		urllib-text
readme.txt		readme.txt
user_agent.py		user_agent.py

Repository files navigation

BQK-novel-spider、MMjpg-spider、QSBK-spider、JS-spider、TXSZ-spider、NHDZ-spider是基于Python3.x、requests库、bs4库，urllib-text使用的Python的内置库，scrapy01是基于Python3.x、scrapy框架、bs4库

Lagou-spider 目前爬取详情页时有一点问题

Weather-spider 爬取中国天气网，并将温度最高的10座城市数据可视化

Doutu-spider 爬取斗图网上的表情包（简单使用了多线程）

JRTT-spider 爬取今日头条 街拍的图片（简单使用了多进程的进程池）

MYDY-spider 爬取猫眼电影top100电影信息（简单使用了多进程的进程池）

user_agent.py 中存放的是一些请求头中User-Agent