Skip to content

Gather Platform 0.3版本发布

Compare
Choose a tag to compare
@gsh199449 gsh199449 released this 09 Jan 03:11
· 16 commits to master since this release

新功能:

  • 升级内核至Webmagic 0.6版本;

  • 增加文章详情页面,可以查看相关网页、该网页的命名实体词,抓取时间、动态字段等等元信息;

  • 增加HTTP代理配置;

  • 完善了文档,增加了二次开发接口说明、更多的常见问题解答;

    点击每一篇文章后面的 Go 按钮就会跳转至文章详情页。右侧展示的是相关的文章,下面的表格中展示了当前网页的一些元信息。

    showWebpageById

    详情页中的人名、地名、机构名称都是可以点击的,之后将跳转至相关信息分析页面,可以看出人物、地点之间的关联关系。

    showRelatedInfo

修复BUG:

  • 修正停止爬虫时的空指针异常
  • 增加配置文件读取时的编码配置
  • 修复了Windows的适配问题
  • 修复了大数据量导出时的内存溢出问题

预编译版本及相关依赖下载地址: https://pan.baidu.com/s/1i4IoEhB 密码:v3jm