SkyEyeSystem

一个基于SpringBoot的全网热点爬虫项目
中文 · English

目录

1. 关于项目
2. 快速启动
   • 先决条件
   • 安装
3. 使用
4. 贡献
5. 许可证
6. 联系

关于项目

每天下午三点定时爬取全网热搜数据。包括

• 微博热搜
• B站热搜
• CSDN热搜
• 知乎热搜
• 今日头条
• 百度热搜

爬取数据之后

1. 会将原始数据存入MySQL。
2. 进行词频统计 存入Redis。

快速启动

此处说明了如何快速的使用本项目

先决条件

确保您的安装器是Maven

安装

1. maven sync
2. 执行SQL脚本 SQL脚本
3. application中配置您的数据库地址
4. db/config中配置redis地址。
5. 启动即可。

使用

1. 手动执行爬虫操作

执行HotSpotCrawlerTest.java

2. 配置爬虫的执行时间

修改爬虫任务中的注解值即可。 接收标准的CRON参数。 可使用Cron在线表达式生成器 在线生成

@Scheduled(cron = "0 0 15 * * ?") // 每天下午3点执行
public void crawl(){
        ...
        }

贡献

贡献使开源社区成为一个学习、激励和创造的绝佳场所。非常感谢您所做的任何贡献。

1.fork项目

2.创建功能分支（git checkout-b Feature/AamazingFeature）

3.提交更改（git-Commit-m'添加一些AmazingFeature）

4.推送至分支（git Push origin feature/AamazingFeature）

5.打开拉取请求

许可证

基于MIT的许可证分发，传输请遵循相关开源协议: MIT许可证

联系

• 杜少雄 email@shaoxiongdu.cn
• 微信: 15603430511
• 个人博客: https://shaoxiongdu.cn