- 新建项目
- 能够爬取tag标签数据并保存
- 增加tagList模型,待添加控制
- 增加READEME,介绍项目详情
- 增加更新日志,进行日志跟踪,推进开发
- 增加时间间隔,防止被封IP
- 测试通过tagList功能
- tagList数据抓取,耗时将近5个小时,抓取书籍信息65084条
- 添加books模型,字段类型设计
- 添加books控制类
- 添加books层级路由
- 获取数据信息功能测试通过,可以获取数据并保存
- 开始获取书籍数据,共65084本书,估计耗时54.3小时完成采集
- 修改readme.md,添加书籍获取路由说明
- 完成基础爬虫教程文档
- 完成request和cheerio简介和页面基本处理教程文档
- 完成爬虫前注意事项
- 完成express基本使用教程
- 完成log4js基本使用配置教程,以及与express的集成教程
- 完成mongoDB数据库简介与使用的教程文档
- 完成MVC的介绍和说明
- mongolass操作数据教程
- 增加目录介绍
- 爬取数据出错,修改代码,重新爬取数据,过滤不存在isbn的数据