2018-3-9

This is a warehouse with python crawlers and data processing, with examples inside.

code introduce by csdn or blog

• 包含Excel操作，IP代理获取验证等部分常规操作
• re bs xpath 三种方式获取猎聘网、前程无忧、猪八戒网、豆瓣、Boss直聘按城市职位查找、APP信息(含公众号信息获取blog introduec by csdn)、抖音爬取主播名下视频及视频评论(评论中两个参数mas和as没搞定，只能获取部分评论，继续研究中,可以使用appium更方便获取评论)
• ip代理池 User_Agent代理 Scrapy 简易获取当地大众点评美食详情