[SSM] 从云组件到web端的数据同步问题

[LinZexiao]

问题背景

SSM (Storeage Service Manager) 工作的过程中, 会先从 venus-messager 等组件作为源头获取数据, 然后将数据渲染到 Web端. 但是因为数据是动态变化的, 如果希望 SSM 自动更新数据相关变化的话, 这里面就会存在一个 数据 从数据源头同步到 Web端 的问题.

完整的数据流主要经过三个节点:

• 数据源
• SSM 服务器
• SSM Web端

关注点

• Dashboard 是否需要保持和数据的实时同步
• 时效性: 希望数据在 数据源 发生变化之后, 短时间内, Web端 能够及时收到变化的数据,做出相应的响应
• 数据流通量: 提供 链服务 的 云组件 需要给多个矿工提供服务, 应考虑数据刘通负载问题
• 系统复杂度: SSM 作为下游组件, 应尽可能将为实现自身功能的复杂度限制在组件自身的范畴之内,尽可能减少对上上游组件的影响

方案选择

解决多端同步问题, 一般有两种方案:

• 轮询: 客户端 定时向 服务端 发起数据同步请求, 作为数据同步请求的发起者, 主动权在客户端,
• 长连接: 客户端 和 服务端 建立长连接, 服务端 在产生数据的时候, 就可以将数据发送到客户端 , 主动权在服务端

具体实施还可以从另一个维度划分成两类:

• 全量更新: 在需要数据同步的时候, 直接传播全量数据, 简单, 对原来系统改动较小
• 增量更新: 只传播新增数据, 数据流通量较少

组合出更加细节的方案:

• 轮询 + 全量更新
  • 最简单, 基本不需要对原有系统进行改动
  • 效率低: 并且会给 云组件 带来较大 负载
• 轮询 + 增量更新
  • 需要在 数据源 维护与不同 SSM 服务器 的 数据差异 , 对原有系统带来较大改动
• 长连接 + 增量更新
  • 使用长连接, 数据源 掌握主动权, 可以随时发送新增数据, 所以不需要维护和 SSM 服务器的 数据差异
  • 需要新增长连接接口
• 长连接 + 全量更新
  • 对比 长连接+增量更新, 不具任何优势, 而且会增加 数据流通量 带来的负载

结合关注点 和上述观点, 目前认为 长连接+增量更新 的方案比较适合当前情形

• 消息中心:
  从 数据源 获取到的数据是不同类型的原始数据, 需要将它们封装到统一的消息的类型中, 然后分发到不同的 Topic , Web端 可以根据需要订阅不同的 Topic 获取想要的数据
• 数据缓存:
  缓存所有 Web端 需要的数据, 避免对 云组件 不必要的数据访问, 同时给 Web端 提供统一的数据访问接口

[simlecode]

1. 全量数据包含哪些数据？
2. Dashboard 不保持和数据的实时同步会有问题吗？
3. 请求量和数据量有多大

[LinZexiao]

1. 对于 Dashboard 来说, 全量数据 主要会包括 消息(全部的非上链消息和部分已经上链的消息), 订单数据, sealing_thread的数据, 扇区数据
2. Dashboard 保持数据同步主要是出于用户使用体验的方面进行考量, 不进行同步的话, 如果用户关心某些数据的变化, 可能需要自己更新页面
3. 请求量和数据量会取决于采取的方案

[0x5459]

我的想法是: web 端定时请求接口更新数据或者用户主动刷新。列表接口都要带分页。

特定的用户关心的消息可以订阅自动更新（不需要 ssm server 存储数据）。

[LinZexiao]

经讨论, 大家比较一致认为目前暂时不考虑 Dashboard 自动更新数据,

[Fatman13]

+1；