Skip to content

Latest commit

 

History

History
39 lines (32 loc) · 1.18 KB

update.md

File metadata and controls

39 lines (32 loc) · 1.18 KB

更新日志

2017-03-08

  • 新建项目
  • 能够爬取tag标签数据并保存

2017-03-09

  • 增加tagList模型,待添加控制
  • 增加READEME,介绍项目详情
  • 增加更新日志,进行日志跟踪,推进开发

2017-03-10

  • 增加时间间隔,防止被封IP
  • 测试通过tagList功能

2017-03-13

  • tagList数据抓取,耗时将近5个小时,抓取书籍信息65084条

2017-03-14

  • 添加books模型,字段类型设计
  • 添加books控制类
  • 添加books层级路由
  • 获取数据信息功能测试通过,可以获取数据并保存
  • 开始获取书籍数据,共65084本书,估计耗时54.3小时完成采集
  • 修改readme.md,添加书籍获取路由说明
  • 完成基础爬虫教程文档
  • 完成request和cheerio简介和页面基本处理教程文档

2017-03-15

  • 完成爬虫前注意事项
  • 完成express基本使用教程
  • 完成log4js基本使用配置教程,以及与express的集成教程
  • 完成mongoDB数据库简介与使用的教程文档
  • 完成MVC的介绍和说明
  • mongolass操作数据教程
  • 增加目录介绍

2017-03-16

  • 爬取数据出错,修改代码,重新爬取数据,过滤不存在isbn的数据