Skip to content

Spark 2.x 案例操作:Scala版本与 Java1.8lambda版代码示例。涵盖Spark核心技术操作SparkCore、SparkSql、SparkStreaming。同时提供了Spark高级性能优化、序列化、广播变量、数据倾斜、算子优化、JVM优化、troubleshooting、数据倾斜解决方案。是多年来根据工作积累整理出来!

Notifications You must be signed in to change notification settings

lei-zuquan/java_spark

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

96 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Spark 2.x 案例操作,是多年来根据工作积累整理出来!

麻烦路过的各位亲给这个项目点个 【star】,太不易了,写了这么多,算是对我坚持下来的一种鼓励吧!

在这里插入图片描述


  • Scala版本
  • Java1.8lambda版

涵盖Spark核心技术

  • SparkCore、SparkSql、SparkStreaming
  • Spark高级性能优化
  • 序列化、广播变量、数据倾斜、算子优化、JVM优化、troubleshooting、数据倾斜解决

Spark性能调优

  • 性能调优 在这里插入图片描述
  • jvm调优 在这里插入图片描述
  • shuffle调优(优先使用前面两点,实测有效) 在这里插入图片描述
  • 算子调优 在这里插入图片描述
  • troubleshooting 在这里插入图片描述
  • 数据倾斜解决方案 在这里插入图片描述

文章最后,给大家推荐一些受欢迎的技术博客链接:

1. JAVA相关的深度技术博客链接
2. Flink 相关技术博客链接
3. Spark 核心技术链接
4. 设计模式 —— 深度技术博客链接
5. 机器学习 —— 深度技术博客链接
6. Hadoop相关技术博客链接
7. 超全干货--Flink思维导图,花了3周左右编写、校对
8. 深入JAVA 的JVM核心原理解决线上各种故障【附案例】
9. 请谈谈你对volatile的理解?--最近小李子与面试官的一场“硬核较量”
10. 聊聊RPC通信,经常被问到的一道面试题。源码+笔记,包懂
11. 深入聊聊Java 垃圾回收机制【附原理图及调优方法】


欢迎扫描下方的二维码或 搜索 公众号“大数据高级架构师”,我们会有更多、且及时的资料推送给您,欢迎多多交流!

在这里插入图片描述

About

Spark 2.x 案例操作:Scala版本与 Java1.8lambda版代码示例。涵盖Spark核心技术操作SparkCore、SparkSql、SparkStreaming。同时提供了Spark高级性能优化、序列化、广播变量、数据倾斜、算子优化、JVM优化、troubleshooting、数据倾斜解决方案。是多年来根据工作积累整理出来!

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published