Skip to content

lazy-apple/BigData_Long

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

12 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

BigData_Long

架构图

Image

项目描述:

爬取网站json数据,保存

相关技术

语言:java、python
系统:windows、Linux
编译器:idea、Pycharm
浏览器:Chrome
前端:Flask、Echarts、HTML、CSS、JavaScript
hadoop及其组件:HDFS和MR、hive、sqoop、flume

技术实现:

使用Python爬取网站json数据,保存到本地
用MR清洗数据保存到hdfs
flume收集监控日志
加载hdfs上的数据到hive表中
使用sqoop导出数据到mysql
使用echars生成图表