Koordinator支持YARN生态与K8s混部

[zwzhang0107]

背景

Haddop YARN架构

• 传统的Master-Slave架构，RM在中心侧，NM在单机侧
• RM与NM之间以心跳方式沟通，NM上报节点资源信息，RM负责资源调度。
• 提供对应用资源管理的抽象协议Application，应用提交时首先向RM申请资源，申请到资源后向NM启动任务进程。
• YARN要求应用遵循ApplicationMaster和ApplicationSlave的设计，作业提交后首先启动AM，AM负责AS的资源申请和启动。
  

Koordiantor混部超卖模型

• 将资源分为Product、Batch多个优先级
• Product总量对应的是物理资源（allocatable），Batch是超卖资源，总量是根据节点的实际利用率，动态计算得到
• 超卖的Batch资源量以extend resource的形式更新在Node上
  

#Node
status:
  allocatable:
    # 单位为千分之一核，以下表示50核。
    kubernetes.io/batch-cpu: 50000
    # 单位为字节，以下表示50 GB。
    kubernetes.io/batch-memory: 53687091200

混部场景

• YARN生态支持了大量任务类型的应用场景
• 虽然部分大数据应用已经做了K8s operator化改造，但由于功能丰富度、历史遗留等原因，无法顺利的将应用切为K8s
• YARN生态与K8s生态缺少配合，资源无法打通共享，更无法实现混部超卖

总体原则

1. Koordinator社区基于Hadoop-YARN开源版本，原则上不对K8s原生和YARN组件做侵入式改造
2. 同一节点的Batch资源即可被K8s Pod使用，也可被YARN task使用
3. YARN Task的单机资源使用，需要被Koordinator的QoS策略管理

关键设计

资源超卖与分配

1. koordlet上报资源用量信息，slo-controller计算节点Batch资源账本，以extended-resource形式更新到Node
2. kilo-controller同步node的Batch资源总量和Pod已申请量，将未分配的资源量（Total-Requested）同步至YARN RM（RPC调用）
3. kilo-controller从YARN-RM同步已分配资源量，更新到Node的Annotation中

apiVersion: v1
kind: Node
metadata:
  annotations:
    koordinator.sh/resourceAllocated: '{"yarnAllocated":{"kubernetes.io/batch-cpu": "10k", "kubernetes.io/batch-memory": "15Gi"}}'
    ...
status:
  allocatable:
    kubernetes.io/batch-cpu: 30k
    kubernetes.io/batch-memory: 20Gi

节点运行时管理

1. YARN的Task以LinuxContainerExecutor模式运行，每个Task对应一个单独的cgroup目录
2. YARN-NM以Pod形式部署在节点，Task由Nodemanager拉起并分配Cgorup目录
3. 为了区分YARN-NM自身和YARN Task的资源管理，宿主机的cgroup目录会被挂载到YARN Pod内，由NM指定参数配置
   

apiVersion: v1
kind: Pod
metadata:
  name: yarn-node-manager
spec:
  containers:
    name: node-manager
    command:
    - start-node-manager.sh
    # ......
    volumeMounts:
    - mountPath: /host-cgroup/
      name: host-cgroup-root
- hostPath:
      path: /sys/fs/cgroup/ # cgroupfs和systemd路径格式不同，这里直接挂载根组，启动脚本根据环境设置nm配置
      type: ""
    name: host-cgroup-root

<configuration>
  <property>
    <name>yarn.nodemanager.linux-container-executor.cgroups.mount-path</name>
    <value>/host-cgroup/</value>
  </property>
  <property>
    <name>yarn.nodemanager.linux-container-executor.cgroups.hierarchy</name>
    <value>/kubepods.slice/kubepods-besteffort.slice/hadoop-yarn</value>
  </property>
</configuration>

其他cgroup管理机制

单机QoS保障策略

• 静态策略需要考虑hadoop-yarn的cgroup目录（CPU Group Identity，Memory QoS，LLC及MBA隔离）
• 动态策略需要koord-yarn-copilot提供用量信息和task元信息
  • 驱逐策略需要考虑YARN任务的频繁起停，导致kill的task已经不存在的情况
• YARN Task驱逐需要考虑优雅退出方案（kill -15），避免YARN Application直接失败

1. koord-yarn-copilot作为单机侧koordlet和YARN-NM之间的沟通桥梁，以sidercar容器的形式同koordlet部署在一起
2. koordlet的states informer模块从koord-yarn-copilot获取task元信息
3. koordlet的metrics advisor模块从koord-yarn-copilot中获取资源用量信息，koord-yarn-copilot直接提供Prometheus格式的API接口，可以同时满足可观测性指标链路的需求
4. koordlet中metric cache支持来自第三方指标的数据存储，可以自定义保存时间
5. koordlet的qos manager策略兼容YARN task的目录，对于驱逐操作需要调用koord-yarn-copilot的RPC接口

QoS策略	当前实现方式	YARN适配方案
CPU Group Identity	guarantee pod及burstable分组整体设2；离线besteffort分组整体设-1	hadoop-yarn在besteffort下，天然适配
CPU Suppress	根据节点负载和在线Pod的负载，在container级别修改离线Pod的CPU绑核	修改hadoop-yarn目录整体的cpuset
Memory QoS for 离线	离线Pod设置memoryWmarkMinAdj（优先回收page cache），memoryOomKillGroup（cgroup级别OOM时整组kill）	设置hadoop-yarn目录的memoryWmarkMinAdj及memoryOomKillGroup
Memory Evict	根据节点用量水位，选择低优先级的离线Pod进行kill	koordlet从koord-yarn-copilot获取usage和task信息，综合优先级选择要kill的task，将要kill的task发送给koord-yarn-copilot。 由于离线频繁起停，koord-yarn-copilot需要考虑要kill的task已经不存在的情况。例如koordlet将需要回收的内存量和sorted task list发送给koord-yarn-copilot。 考虑给haoop-yarn整组设置memory.limit，控制oom范围降低稳定性风险。
CPU Evict	读取besteffort cgorup分组中的cpu用量和限制信息(cpuset压制看container级别，cfs quota压制看根组），计算资源满足度，根据优先级选择pod进行kill。	读取限制信息时考虑hadoop-yarn目录，和koord-yarn-copilot配合驱逐task（与Memory Evict）类似。
LLC及MBA隔离	读取CPU container cgroup级别的tasks id，将其放入到对应的resctrl分组中	方案一：将hadoop-yarn的cgroup子目录中的task id放入到对应的resctrl分组（离线频繁起停可能来不及） 方案二：直接将node manager的进程id设置到resctrl-BE分组，需要确定container级别是否会自动继承
BlkIO QoS	Doing	TBD

YARN 集群运维

组件管理

• YARN-NM从RM摘除时，需要修改YARN RM在节点上的配置文件，然后调用RPC接口refreshNode
• 因此考虑将YARN-RM以Pod形式托管，定义在YARN Spec CRD中，相关配置文件通过configmap形式挂载到Pod内部的路径中
• YARN Operator 根据YARN Spec CRD扩缩YARN NM Pod
• 摘除NM节点时，YARN Operator首先更新ConfigMap内容，然后RPC调用refreshNode，考虑到ConfigMap的同步，需要保证最终一致性

其他方案

其他方案 YARN-RM继续保留在ECS模式下托管，RM同节点需要部署Koordiantor工具套装，负责节点摘除等需要修改本地配置的操作。

两者相比，RM用Pod方式托管的优点在于统一维护，方便管理，YARN组件由K8s生态全托管，缺点在于对现有的运维链路改造会更大；而RM用ECS托管的优点在于对现有运维链路的改动较小，但缺点在于运维操作分散，维护复杂度高，操作和配置流程会有一部分转移到YARN Spec中，另一部分保留在原流程不变，管理上容易出现冲突。

日常运维

通常包括以下场景：

• YARN集群配置修改
• 节点扩缩容
• 队列创建，Quota容量修改

与业务相关的运维操作管理保持不变，运维组件和YARN RM/NM在同一个容器内部署，操作YARN RM/NM。
与节点扩缩容相关的参考组件管理流程，通过Koordinator定义的CRD扩容

演进方案

阶段1：Koordinator只托管Node Manager，不含运维控制链路

1. 搭建K8s集群，部署Koordinator
2. 搭建YARN集群，以ECS的形式部署RM
3. 以Pod的形式部署NM，使用Koordinator YARN Operator的CRD托管
4. NM的配置，扩缩均通过Koordinator YARN Operator

阶段2：YARN-RM的托管部署纳入到Koordiantor，支持运维链路对接

1. 搭建K8s集群，部署Koordinator
2. 以Pod的形式部署RM和NM，使用Koordinator YARN Operator的CRD托管
3. RM/NM的Pod中包含相关的运维组件进程
4. 集群节点扩缩相关的操作对接Koordinator YARN Operator
5. 日常的操作由运维组件支持

阶段0：最小可用版本，不支持YARN组件自动部署和运维操作

1. 手动将NM以Pod形式部署
2. RM继续沿用当前的集群形态，以进程形式在 ECS 部署，离线没有混部资源可用时，将节点资源置为零

阶段性目标

milestone 1.0 (6.10功能研发完成)

• K8s集群的Batch资源可以共享给YARN使用
• YARN的Task在运行时可以受到单机QoS策略的管理约束

功能拆解

• kilo-controller支持将可用的batch资源同步到YARN-RM
• YARN-NM支持以Pod形式部署运行
• 单机QoS策略适配YARN Task（CPU压制、BVT、内存水位驱逐）

milestone 1.1 (精细化策略-8月中)

• K8s的Batch资源调度需要感知YARN的分配情况
• 单机QoS策略精细化管理，支持按公平性等策略驱逐或压制YARN Task
• 其他单机QoS策略适配YARN Task

milestone 1.2 (NM管理)

• YARN NM的生命周期管理由kilo-controller托管
• 支持YARN NM优雅完备的上下线流程，如资源不足时直接将nm下线
• YARN Task优雅驱逐

milestone 2.0

• 具备YARN RM完整的托管能力
• 提供YARN集群的运维管理能力
• YARN资源容量画像，结合队列Quota管理
• 单机QoS能力优化

TBD

待讨论议题

1. 组件命名
   a. kilo，取自航海过程中使用的旗语单词，两艘船碰面时打出kilo，表示“I wish to communicate with you.”，意在希望K8s和YARN生态能够在混部场景可以及时互通，稳定运行。
   b. conductor，指挥家
2. 项目工程建设
   a. pkg/kilo-controller，用于koordiantor和yarn之间资源同步的controller
   b. pkg/yarn-operator，用于yarn组件管理
   c. pkg/koord-copilot-yarn，负责单机侧与YARN-NM交互，Task信息管理/驱逐

[zwzhang0107]

0524
上周问题

1. 方案整体merge
2. 单机侧和NM交互细节
3. YARN集群版本和部署镜像

本次议题

1. 剩余方案细节review
2. 模块落地形态
   a. 中心侧
   b. 单机侧
3. 下周迭代计划
4. 集群环境和测试

[zwzhang0107]

0531
研发进展
1、工程管理：pkg/yarn
2、中心侧：
对接yarn rmadmin接口（3.2.1），rpc调试中
k8s node batch资源同步
3、单机侧
koordlet功能：研发基本完成，待测试
copilot功能：todo
4、环境相关
node manager镜像，考虑先手动打镜像部署

[zwzhang0107]

0607
研发进展
1、工程管理：goyarn
2、中心侧：
对接yarn rmadmin接口（3.2.1），rmadmin rpc接口验证ok
k8s node batch资源同步，研发中
3、单机侧
koordlet功能：研发基本完成，待测试
copilot功能：研发基本ok，待联调测试
4、环境相关
node manager镜像，考虑先手动打镜像部署 6.15左右提供

预计下周可以分模块调通，在裸机上可以跑通

[zwzhang0107]

0614
研发进展
1、中心侧
对接yarn rmadmin接口（3.2.1），rmadmin rpc接口验证
k8s node batch资源同步，研发完成，待提交合入

2、单机侧
copilot功能测试ok，使用物理机裸部署，调接口验证
koordlet和copilot的整体联调待开展
koordlet合入到上游，先提交到个人仓库review下；先摘一部分patch提交到上游

3、环境相关
node manager镜像，按集群和节点来交付，预计下周一

下周计划
整体环境的联调

[zwzhang0107]

0620
联调情况记录
1、中心侧
资源同步链路验证成功

优化项：
NM pod部署时增加label标签yarn.hadoop.apache.org/node-id，填充YARN Node ID，用于资源同步
batch资源名称可配置

[songzh215]

0628
联调情况记录
1、中心侧
NM pod部署时增加label标签yarn.hadoop.apache.org/node-id，填充YARN Node ID，用于资源同步，开发中 @songzh215
batch资源名称可配置 @songzh215
资源为空处理逻辑 @songzh215

2. 单机侧：
   跑通基本逻辑：
   指标采集 done
   任务级别的memcg 隔离 done
   进程调度优先级，待确认

驱逐逻辑待测试 @suozengzeng
环境问题:
docker盘IO高等问题 @suozengzeng
网络带宽高，实测11Gbps+9Gbps 较高，单机有带宽风险，链路带宽待找emr确认 @songzh215

待确认：
资源预留方案

[songzh215]

0705
联调情况记录
1、中心侧
NM pod部署时增加label标签yarn.hadoop.apache.org/node-id，填充YARN Node ID，用于资源同步 done @songzh215
batch资源名称可配置 @songzh215
资源为空处理逻辑 @songzh215
Yarn切主，客户端连接失败 @zwzhang0107
资源预留逻辑 @songzh215

单机侧：
跑通基本逻辑：
指标采集 done
任务级别的memcg 隔离 done
进程调度优先级 done
驱逐逻辑待测试 @suozengzeng
copoilt 发现nm pod ip功能 @suozengzeng

环境问题:
docker盘IO高等问题 @suozengzeng @songzh215

milestone 1.1

1. YARN HA情况下的支持
2. 其他单机QoS策略适配YARN Task：LLC/MBA隔离，内存回收分级等
3. 驱逐YARN Task的优雅退出等，配合上量

[zwzhang0107]

0712
联调情况记录
1、中心侧
资源为空处理逻辑，先给YARN上报为零 @songzh215，可以提到社区
Yarn切主，客户端连接失败 @zwzhang0107，测试中
batch资源预留逻辑 @songzh215，max(100, x) NM request: 8c/16g limit 8c/-1g，需要确定下nm内存高的原因，如果是因为离线导致，需要支持预留，从batch账本里扣除。

单机侧：
跑通基本逻辑：
指标采集 done，已合入
任务级别的memcg 隔离 done，已合入
进程调度优先级 done，在根组设置，天然支持
驱逐逻辑待测试 @suozengzeng
copoilt kill yarn task（按用量），已合入
koordlet调用copilot的接口（listContainer/killContainer/healthCheck）：底层的pkg先提到goyarn，上层策略部分依赖比较重，goyarn稳定后再合到koordlet
copoilt 发现nm pod ip功能 @suozengzeng，从kubelet中拿到nm pod ip，访问外部ip。（terway没支持port mapping，端口映射）

环境问题:
docker盘IO高等问题 @suozengzeng @songzh215：/var/或/etc/下有日志，还需要继续排查，跑起来后继续观察，再看是否要解决。
NM内存消耗高的问题，待排查确定是否与yarn任务有关

emr白天下线后需要让batch pod上来，emr夜间上线后需要让batch pod下线。待讨论

milestone 1.1（7-9）

1. YARN HA情况下的支持，待测试
2. 其他单机QoS策略适配YARN Task：内存回收分级（包括batch pod）
3. 驱逐YARN Task的优雅退出等，配合上量继续观察
4. 资源反向同步 @zwzhang0107

[Suozz]

0719
联调情况记录
1、中心侧
资源为空处理逻辑，先给YARN上报为零 @songzh215，待合入
Yarn切主，客户端连接失败 @zwzhang0107，已修复，待合入。

单机侧：
跑通基本逻辑：
指标采集 done，已合入
任务级别的memcg 隔离 done，已合入
进程调度优先级 done，在根组设置，天然支持
驱逐逻辑待测试 @suozengzeng
copoilt kill yarn task（按用量），已合入
koordlet调用copilot的接口（listContainer/killContainer/healthCheck）：底层的pkg先提到goyarn，上层策略部分依赖比较重，goyarn稳定后再合到koordlet 已合入
copoilt 发现nm pod ip功能 @suozengzeng，从kubelet中拿到nm pod ip，访问外部ip。（terway没支持port mapping，端口映射）已合入

环境问题:
docker盘IO高等问题 @suozengzeng @songzh215：/var/或/etc/下有日志，还需要继续排查，跑起来后继续观察，再看是否要解决。
NM内存消耗高的问题，待排查确定是否与yarn任务有关

emr白天下线后需要让batch pod上来，emr夜间上线后需要让batch pod下线。结论：离线链路反向同步，不侵入调度器。

milestone 1.1:
需求：
支持向多个 yarn 集群上报资源 @zwzhang0107
资源上报 @suozengzeng
controller 反向同步 yarn 申请量 @songzh215
其他单机QoS策略适配YARN Task：内存回收分级（ 包括 batch pod ）
驱逐 YARN Task 的优雅退出等，配合上量继续观察

[zwzhang0107]

0726
联调情况记录
已经接入一个正式集群，一个Job200-300核。

环境问题:
docker盘IO高等问题 @suozengzeng @songzh215：/var/或/etc/下有日志，还需要继续排查，跑起来后继续观察，再看是否要解决。目前定位到/etc/下有日志读写，文件不大，但吞吐搞，yarn待解决。
NM内存消耗高的问题，待排查确定是否与yarn任务有关；NM OOM（先去掉来解决），账本计算会扣除，待继续排查。

emr白天下线后需要让batch pod上来，emr夜间上线后需要让batch pod下线。结论：离线链路反向同步，不侵入调度器。

milestone 1.1（7-8月）
中心侧
资源为空处理逻辑，先给YARN上报为零 @songzh215，待合入（ping）
Yarn切主，客户端连接失败 @zwzhang0107，已修复，已合入(done)

单机侧：
跑通基本逻辑：
驱逐逻辑待测试 @suozengzeng，测试通过

controller 反向同步 yarn 申请量
yarn client支持从rm获取requested @zwzhang0107，研发完成，验证中（ping）
将request更新到node上 @songzh215 ，研发中
支持向多个 yarn 集群上报资源 @zwzhang0107 （TODO）
资源上报 @suozengzeng，研发中，社区记个issue
其他单机QoS策略适配YARN Task：内存回收分级（ 包括 batch pod ）（TODO）
驱逐 YARN Task 的优雅退出等，配合上量继续观察（TODO）

[Suozz]

0808
联调情况记录
已经接入一个正式集群，一个 Job 2000 核。

环境问题:
docker盘IO高等问题 @suozengzeng @songzh215：/var/ 或 /etc/ 下有日志，还需要继续排查，跑起来后继续观察，再看是否要解决。目前定位到 /etc/ 下有日志读写，文件不大，但吞吐搞，yarn待解决。( 改到 rss，效果待验证 )
NM内存消耗高的问题，待排查确定是否与yarn任务有关；NM OOM（ 先去掉来解决 ），账本计算会扣除，待继续排查。

emr白天下线后需要让batch pod上来，emr夜间上线后需要让batch pod下线。结论：离线链路反向同步，不侵入调度器。

milestone 1.1（ 7-8月）
中心侧
资源为空处理逻辑，先给YARN上报为零 @songzh215，待合入（ping）

controller 反向同步 yarn 申请量
yarn client支持从rm获取requested @zwzhang0107，研发完成，已合入（done）
将 request 更新到 node 上 @songzh215 ，开发中，待合入
支持向多个 yarn 集群上报资源 @zwzhang0107 （Doing）预计 8/18 之前测试完成
单机资源上报 @suozengzeng，开发完成（社区记个issue）
其他单机QoS策略适配YARN Task：内存回收分级（ 包括 batch pod ）（社区版本待适配）
驱逐 YARN Task 的优雅退出等，配合上量继续观察（TODO）

[songzh215]

0816
上线情况记录
已经接入一个正式集群，一个集群 2700 核
有重复调度到一台机器上频繁驱逐导致任务失败，Yarn->k8s资源同步逻辑bug导致

环境问题:
docker盘IO高等问题 @suozengzeng @songzh215：/var/ 或 /etc/ 下有日志，还需要继续排查，跑起来后继续观察，再看是否要解决。目前定位到 /etc/ 下有日志读写，文件不大，但吞吐搞，yarn待解决。( 切到rss，问题未复现)
NM内存消耗高的问题，待排查确定是否与yarn任务有关；NM OOM（ 先去掉来解决 ），账本计算会扣除，待继续排查。

emr白天下线后需要让batch pod上来，emr夜间上线后需要让batch pod下线。结论：离线链路反向同步，不侵入调度器。

milestone 1.1（ 7-8月）
controller 反向同步 yarn 申请量：
将 request 更新到 node 上 @Suozz ，开发中，待合入
支持向多个 yarn 集群上报资源 @zwzhang0107 （Doing）预计 8/18 之前测试完成
单机资源上报 @suozengzeng，开发完成（社区记个issue）
其他单机QoS策略适配YARN Task：内存回收分级（ 包括 batch pod ）（社区版本待适配）
驱逐 YARN Task 的优雅退出等，配合上量继续观察（TODO）

[zwzhang0107]

0823
上线情况记录
有重复调度到一台机器上频繁驱逐导致任务失败，Yarn->k8s资源同步逻辑bug导致，已修复，验证中
已经接入一个正式集群，一个集群 2700 核

环境问题:
docker盘IO高等问题 @suozengzeng @songzh215：/var/ 或 /etc/ 下有日志，还需要继续排查，跑起来后继续观察，再看是否要解决。目前定位到 /etc/ 下有日志读写，文件不大，但吞吐搞，yarn待解决。( 切到rss，问题未复现)
NM内存消耗高的问题，待排查确定是否与yarn任务有关；NM OOM（ 先去掉来解决 ），账本计算会扣除，待继续排查。

emr白天下线后需要让batch pod上来，emr夜间上线后需要让batch pod下线。结论：离线链路反向同步，不侵入调度器。（验证中）

milestone 1.1（ 7-8月）
controller 反向同步 yarn 申请量：
将 request 更新到 node 上 @Suozz ，开发中，待合入
支持向多个 yarn 集群上报资源 @zwzhang0107 （测试中）
其他单机QoS策略适配YARN Task：内存回收分级（ 包括 batch pod ）（社区koordlet版本待适配）
驱逐 YARN Task 的优雅退出等，配合上量继续观察（TODO）
内部整理代码分支，提交到上游

[Suozz]

0823
上线情况记录
已经接入一个正式集群，一个集群 XX 核

环境问题:
docker盘IO高等问题 @suozengzeng @songzh215：/var/ 或 /etc/ 下有日志，还需要继续排查，跑起来后继续观察，再看是否要解决。目前定位到 /etc/ 下有日志读写，文件不大，但吞吐搞，yarn待解决。( 切到rss，问题未复现)
NM内存消耗高的问题，待排查确定是否与yarn任务有关；NM OOM（ 先去掉来解决 ），账本计算会扣除，待继续排查。
资源 DIff 问题待定位

emr白天下线后需要让batch pod上来，emr夜间上线后需要让batch pod下线。结论：离线链路反向同步，不侵入调度器。（验证中）

milestone 1.1（ 7-8月）
controller 反向同步 yarn 申请量：
将 request 更新到 node 上 @Suozz ，开发中，待合入
支持向多个 yarn 集群上报资源 @zwzhang0107 （上线中）
其他单机QoS策略适配YARN Task：内存回收分级（ 包括 batch pod ）（社区koordlet版本待适配）
驱逐 YARN Task 的优雅退出等，配合上量继续观察（TODO）
内部整理代码分支，提交到上游

[songzh215]

0906
上线情况记录
已经接入一个正式集群，一个集群供给量 6000 核，分配量 3000 核

环境问题:
docker盘IO高等问题 @suozengzeng @songzh215：/var/ 或 /etc/ 下有日志，还需要继续排查，跑起来后继续观察，再看是否要解决。目前定位到 /etc/ 下有日志读写，文件不大，但吞吐搞，yarn待解决。( 大任务都切到rss模式，问题已解决)
NM内存消耗高的问题，待排查确定是否与yarn任务有关；NM OOM（ 先去掉来解决 ），账本计算会扣除，待继续排查。

资源 DIff 问题已复现，定位中

emr白天下线后需要让batch pod上来，emr夜间上线后需要让batch pod下线。结论：离线链路反向同步，不侵入调度器，已上线，资源冲突驱逐来解决

milestone 1.1（ 7-8月）
controller 反向同步 yarn 申请量：
将 request 更新到 node 上 @Suozz ，开发中，待合入
支持向多个 yarn 集群上报资源 @zwzhang0107 上线完成，代码待合入
其他单机QoS策略适配YARN Task：内存回收分级（ 包括 batch pod ）（社区koordlet版本待适配）
驱逐 YARN Task 的优雅退出等，配合上量继续观察（TODO）
内部整理代码分支，提交到上游

===============================================================

九月计划：

1. metrics 可观测性建设 @Suozz
2. 代码整合，ut @Suozz @zwzhang0107
3. 出版本文档 @zwzhang0107

[zwzhang0107]

0913
上线情况记录
已经接入一个正式集群，一个集群供给量 6000 核，分配量 3000 核

环境问题:
NM内存消耗高的问题，待排查确定是否与yarn任务有关；NM OOM（ 先去掉来解决 ），账本计算会扣除，待继续排查。

资源 DIff 问题已复现，定位中，keep doing

milestone 1.1（ 7-8月）
内部整理代码分支，提交到上游 PR已提交，review中
controller 反向同步 yarn 申请量：
将 request 更新到 node 上 @Suozz ，开发中，待合入
支持向多个 yarn 集群上报资源 @zwzhang0107 上线完成，代码待合入

===============================================================

九月-十月计划：
metrics 可观测性建设 @Suozz
代码整合，ut @Suozz @zwzhang0107
出版本文档 @zwzhang0107

接入规模保持不变
其他单机QoS策略适配YARN Task：内存回收分级（ 包括 batch pod ）（社区koordlet版本待适配）
驱逐 YARN Task 的优雅退出等，配合上量继续观察（TODO）

[Suozz]

0920
上线情况记录
已经接入一个正式集群，一个集群供给量 6000 核，分配量 3000 核

环境问题:
NM内存消耗高的问题，待排查确定是否与yarn任务有关；NM OOM（ 先去掉来解决 ），账本计算会扣除，待继续排查。

资源 DIff 问题等待复现

milestone 1.1（ 7-8月）
内部整理代码分支，提交到上游 PR已提交，review中
controller 反向同步 yarn 申请量：
将 request 更新到 node 上 @Suozz ，开发中，待合入
支持向多个 yarn 集群上报资源 @zwzhang0107 上线完成，代码待合入

===============================================================

九月-十月计划：
metrics 可观测性建设 @Suozz
代码整合，ut @Suozz @zwzhang0107
出版本文档 @zwzhang0107

接入规模保持不变
其他单机QoS策略适配YARN Task：内存回收分级（ 包括 batch pod ）（社区koordlet版本待适配）
驱逐 YARN Task 的优雅退出等，配合上量继续观察（TODO）

资源运营问题（长期）

[songzh215]

1011
上线情况记录
已经接入两个k8s生产集群（5个Yarn集群），一个集群供给量 8000 核，分配量 3300 核

环境问题:
NM内存消耗高的问题，待排查确定是否与yarn任务有关；NM OOM（ 先去掉来解决 ），账本计算会扣除，待继续排查。

资源 DIff 问题等待复现

milestone 1.1（ 7-8月）
内部整理代码分支，代码已合入
controller 反向同步 yarn 申请量：
将 request 更新到 node 上 @Suozz
支持向多个 yarn 集群上报资源 @zwzhang0107

===============================================================

九月-十月计划：
metrics 可观测性建设，metrics代码合入，待grafana大盘json @Suozz
代码整合，ut，pending @Suozz @zwzhang0107
出版本文档，版本release中 @zwzhang0107

其他单机QoS策略适配YARN Task：内存回收分级（ 包括 batch pod ）（社区koordlet版本待适配）功能待拆解
驱逐 YARN Task 的优雅退出等，配合上量继续观察（TODO）

资源运营问题（长期）

[zwzhang0107]

1018
上线情况记录
已经接入3个k8s生产集群（6个Yarn集群），一个集群供给量 1w 核，分配量 4.3k 核

环境问题:
NM内存消耗高的问题，待排查确定是否与yarn任务有关；NM OOM（ 先去掉来解决 ），账本计算会扣除，待继续排查。

• 资源 DIff 问题等待复现
• yarn rm挂了未恢复，需要operator自动感知；集群管理的问题待yarn跟进。

九月-十月计划：
metrics 可观测性建设，metrics代码合入，待grafana大盘json @Suozz
代码整合，ut，pending @Suozz @zwzhang0107
出版本文档，版本release中 @zwzhang0107
hadoop yarn helm chart done
yarn-operator chart doing

其他单机QoS策略适配YARN Task：内存回收分级（ 包括 batch pod ）（社区koordlet版本待适配）功能待拆解
驱逐 YARN Task 的优雅退出等，配合上量继续观察（TODO）

资源运营问题（长期）

[qijiale76]

@zwzhang0107 Sorry to bother, where is the source code for this discussion? I couldn't find it in the repository.

[zwzhang0107]

hi, the source code is almost ready to publish, please just wait for a few days.
could you please leave some informations about your expection about YARN on koordinator.

[Suozz]

1025
上线情况记录
已经接入3个k8s生产集群（6 个 Yarn 集群），一个集群供给量 1w 核，分配量 6.3k 核

环境问题:
NM内存消耗高的问题，待排查确定是否与yarn任务有关；NM OOM（ 先去掉来解决 ），账本计算会扣除，待继续排查。

资源 DIff 问题等待复现
yarn rm挂了未恢复，需要operator自动感知；
资源预留基于配置（基于环境变量）-- 开发完成
EMR 平台配置模板

九月-十月计划：
metrics 可观测性建设，metrics代码合入，待grafana大盘json @Suozz
代码整合，ut，pending @Suozz @zwzhang0107
出版本文档，版本release中 @zwzhang0107 推进中

• release-v0.1 @zwzhang0107
• Copilot 单测 @Suozz

其他单机QoS策略适配YARN Task：内存回收分级（ 包括 batch pod ）（社区koordlet版本待适配）功能待拆解
驱逐 YARN Task 的优雅退出等，配合上量继续观察（TODO）

资源运营问题（长期）
NetworkQoS（待提供场景）

[Suozz]

1025
上线情况记录
已经接入3个 k8s 生产集群（6 个 Yarn 集群），一个集群供给量 1w 核，分配量 6.3k 核

裸金属接入问题：Yarn Task 卡死

环境问题:
NM内存消耗高的问题，待排查确定是否与yarn任务有关；NM OOM（ 先去掉来解决 ），账本计算会扣除，待继续排查。

资源 DIff 问题等待复现
yarn rm挂了未恢复，需要operator自动感知；
EMR 平台配置模板

九月-十月计划：
metrics 可观测性建设，metrics代码合入，待 grafana 大盘 json @Suozz
代码整合，ut，pending @Suozz @zwzhang0107 推进中
出版本文档，版本release中 @zwzhang0107 推进中

release-v0.1 @zwzhang0107
Copilot 单测 @Suozz
其他单机QoS策略适配YARN Task：内存回收分级（ 包括 batch pod ）（社区koordlet版本待适配）功能待拆解
驱逐 YARN Task 的优雅退出等，配合上量继续观察（TODO）

资源运营问题（长期）
NetworkQoS（待提供场景）

[zwzhang0107]

1115
上线情况记录
已经接入3个 k8s 生产集群（6 个 Yarn 集群），一个集群供给量 1.2w 核，分配量 7k 核。
裸金属接入问题：Yarn Task 卡死，裸金属运行到这段代码后必现/VM正常，单独跑YARN Spark SQL也会hang住。

环境问题:
NM内存消耗高的问题，待排查确定是否与yarn任务有关；NM OOM（ 先去掉来解决 ），账本计算会扣除，待继续排查。

资源 DIff 问题等待复现
yarn rm挂了未恢复，需要operator自动感知；fix done；待线上验证
EMR 平台配置模板；todo

九月-十月计划：
代码整合，done @zwzhang0107

release-v0.1 @zwzhang0107
出版本文档，版本release中 @zwzhang0107 推进中
驱逐 YARN Task 的优雅退出等，配合上量继续观察（TODO）

release-v0.2
copilot UT@Suozz
metrics 可观测性建设，metrics代码合入，待 grafana 大盘 json @Suozz
其他单机QoS策略适配YARN Task：内存回收分级（ 包括 batch pod ）（社区koordlet版本待适配）功能待拆解

资源运营问题（长期）
NetworkQoS（待提供场景）

[zwzhang0107]

1129
上线情况记录
已经接入3个 k8s 生产集群（6 个 Yarn 集群），一个集群供给量 1.2w 核，分配量 7k 核。
裸金属接入问题：Yarn Task 卡死，裸金属运行到这段代码后必现/VM正常，单独跑YARN Spark SQL也会hang住。待跟进

环境问题:
NM内存消耗高的问题，待排查确定是否与yarn任务有关；NM OOM（ 先去掉来解决 ），账本计算会扣除，待继续排查。

资源 DIff 问题等待复现
已修复；待线上验证。
EMR 平台配置模板；todo

release-v0.1 已发布

release-v0.2
copilot UT@Suozz
metrics 可观测性建设，metrics代码合入，待 grafana 大盘 json @Suozz
其他单机QoS策略适配YARN Task：内存回收分级（ 包括 batch pod ）（社区koordlet版本待适配）功能待拆解

资源运营问题（长期）
NetworkQoS（待提供场景）

[Suozz]

1129
上线情况记录
已经接入3个 k8s 生产集群（6 个 Yarn 集群），一个集群供给量 1.2w 核，分配量 9.2k 核。
裸金属接入问题：Yarn Task 卡死，裸金属运行到这段代码后必现/VM正常，单独跑YARN Spark SQL也会hang住。

• 内存带宽限制，解决方案：EMR独占3%内存带宽（每个CCD设置为 60），并且驱逐超卖的离线
  Yarn Task CPU 卡死
• gc 线程数默认按照 host cpu 核数设置，GC time 暴涨，导致任务执行时间变长（spark - jdk 1.8 默认行为）
• hadoop-yarn cgroup 目录 cpu.shares 为 1024， Copilot SUM（all container request）
• 是否需要去掉 cpu 大框限制

环境问题:
NM内存消耗高的问题，待排查确定是否与yarn任务有关；NM OOM（ 先去掉来解决 ），账本计算会扣除，待继续排查。

资源 DIff 问题等待复现
已修复；待线上验证。
EMR 平台配置模板；todo

release-v0.2
copilot UT@Suozz
metrics 可观测性建设，metrics代码合入，待 grafana 大盘 json @Suozz
其他单机QoS策略适配YARN Task：内存回收分级（ 包括 batch pod ）（社区koordlet版本待适配）功能待拆解

资源运营问题（长期）
NetworkQoS（待提供场景）

[Suozz]

12/20
上线情况记录
已经接入3个 k8s 生产集群（6 个 Yarn 集群），一个集群供给量 1.2w 核，分配量 11.2k 核。
裸金属接入问题：Yarn Task 卡死，裸金属运行到这段代码后必现/VM正常，单独跑YARN Spark SQL也会hang住。（已解决）

内存带宽限制，解决方案：EMR独占3%内存带宽（每个CCD设置为 60），并且驱逐超卖的离线
Yarn Task CPU 卡死
gc 线程数默认按照 host cpu 核数设置，GC time 暴涨，导致任务执行时间变长（spark - jdk 1.8 默认行为）done
hadoop-yarn cgroup 目录 cpu.shares 为 1024， Copilot SUM（all container request）done
代码提社区 （todo)

环境问题:
NM内存消耗高的问题，待排查确定是否与yarn任务有关；NM OOM（ 先去掉来解决 ），账本计算会扣除，待继续排查。

资源 DIff 问题等待复现
已修复；待线上验证。

release-v0.2
copilot UT@Suozz
metrics 可观测性建设，metrics代码合入，待 grafana 大盘 json @Suozz
其他单机QoS策略适配YARN Task：内存回收分级（ 包括 batch pod ）（社区koordlet版本待适配）功能待拆解

资源运营问题（长期）
NetworkQoS（待提供场景）

[Suozz]

1月3日
上线情况记录
已经接入3个 k8s 生产集群（6 个 Yarn 集群），一个集群供给量 1.2w 核，分配量 11.2k 核。

hadoop-yarn cgroup 目录 cpu.shares 为 1024， Copilot SUM（all container request）done 代码提社区 （todo)

环境问题:
NM内存消耗高的问题，待排查确定是否与yarn任务有关；NM OOM（ 先去掉来解决 ），账本计算会扣除，待继续排查。

资源 DIff 问题等待复现 已上线，待验证

release-v0.2
copilot UT@Suozz
metrics 可观测性建设，metrics代码合入，待 grafana 大盘 json @Suozz
其他单机QoS策略适配YARN Task：内存回收分级（ 包括 batch pod ）（社区koordlet版本待适配）功能待拆解

资源运营问题（长期）
NetworkQoS（待提供场景）