Replies: 7 comments
-
是的,ByConity定位是开源云数仓,所以选型了FDB。我们最近也在思考这个问题,现在有如下3个思路:
欢迎讨论,有什么好的想法或者建议吗? |
Beta Was this translation helpful? Give feedback.
-
第一种方案应该是要去做的,可以研究一下starrocks 是怎么去存储元数据的。如果短期成本很大,可以先用一个轻量化的方案,例如关系数据库。国外的dremio,开源使用rocksdb 存储,云端使用mongodb。dremio 存储数量比较大,包含物化数据的文件信息。 |
Beta Was this translation helpful? Give feedback.
-
想知道在第二种方式上面提到的理想的替代系统都希望有什么特性。感觉如果是云托管替代的话还是 MySQL 这种 RDBMS 比较成熟。不知道在特性上面都有哪些不满足。 |
Beta Was this translation helpful? Give feedback.
-
最好是分布式的方便容错和扩容,目前对API有些依赖,例如put/get/multi-put/multi-get/前缀scan |
Beta Was this translation helpful? Give feedback.
-
可以对接一些fdb的alternative |
Beta Was this translation helpful? Give feedback.
-
我理解在云上的 RDBMS 基本的容错和扩展是可以保证的,但是对 API 的依赖就是要看我们项目里面怎么考虑了。 另外,Hive Metastore 我理解也是一个比较好的选择,不管是在公有云上还是说 IDC 环境中,都有不同的实现。我们可以实现协议,最终将具体的产品的选择权交给用户团队。 |
Beta Was this translation helpful? Give feedback.
-
不考虑下Oceanbase吗? |
Beta Was this translation helpful? Give feedback.
-
如果在字节内部平台使用 FoundationDB没有什么问题,有专业人员维护,但部署在私有化项目中,感觉会导致部署依赖比较重。FoundationDB还是一个很小众的产品,一般是在云端数据库产品使用,解决海量元数据存储性能问题问题。例如snowflake。
就看开源用户是谁? 是几个云厂商吗?(阿里云、天翼云、华为云),好像使用的概率比较低,开源可能一些私有化部署用户,他们元数据量很小,不需要fb,他们维护不了fb
Beta Was this translation helpful? Give feedback.
All reactions