依赖 FoundationDB 是否会导致部署比较重？

[melin]

如果在字节内部平台使用 FoundationDB没有什么问题，有专业人员维护，但部署在私有化项目中，感觉会导致部署依赖比较重。FoundationDB还是一个很小众的产品，一般是在云端数据库产品使用，解决海量元数据存储性能问题问题。例如snowflake。

就看开源用户是谁？ 是几个云厂商吗?(阿里云、天翼云、华为云)，好像使用的概率比较低，开源可能一些私有化部署用户，他们元数据量很小，不需要fb，他们维护不了fb

[hustnn]

是的，ByConity定位是开源云数仓，所以选型了FDB。我们最近也在思考这个问题，现在有如下3个思路：

1. 自己实现一个分布式元数据管理，优点是没有外部依赖，缺点是开发成本比较高
2. 一个思路就是找fdb的其他开源或者云托管替代品。目前没有找他其他比较理想的替代系统。
3. 支持更多catalog，例如hive metastore，然后像iceberg那样把metadata更多的存储在s3/hdfs上。

欢迎讨论，有什么好的想法或者建议吗？

[melin]

第一种方案应该是要去做的，可以研究一下starrocks 是怎么去存储元数据的。如果短期成本很大，可以先用一个轻量化的方案，例如关系数据库。国外的dremio，开源使用rocksdb 存储，云端使用mongodb。dremio 存储数量比较大，包含物化数据的文件信息。

[xjiaqing]

想知道在第二种方式上面提到的理想的替代系统都希望有什么特性。感觉如果是云托管替代的话还是 MySQL 这种 RDBMS 比较成熟。不知道在特性上面都有哪些不满足。

[hustnn]

想知道在第二种方式上面提到的理想的替代系统都希望有什么特性。感觉如果是云托管替代的话还是 MySQL 这种 RDBMS 比较成熟。不知道在特性上面都有哪些不满足。

最好是分布式的方便容错和扩容，目前对API有些依赖，例如put/get/multi-put/multi-get/前缀scan

[hustnn]

第一种方案应该是要去做的，可以研究一下starrocks 是怎么去存储元数据的。如果短期成本很大，可以先用一个轻量化的方案，例如关系数据库。国外的dremio，开源使用rocksdb 存储，云端使用mongodb。dremio 存储数量比较大，包含物化数据的文件信息。

可以对接一些fdb的alternative

[xjiaqing]

想知道在第二种方式上面提到的理想的替代系统都希望有什么特性。感觉如果是云托管替代的话还是 MySQL 这种 RDBMS 比较成熟。不知道在特性上面都有哪些不满足。

最好是分布式的方便容错和扩容，目前对API有些依赖，例如put/get/multi-put/multi-get/前缀scan

我理解在云上的 RDBMS 基本的容错和扩展是可以保证的，但是对 API 的依赖就是要看我们项目里面怎么考虑了。

另外，Hive Metastore 我理解也是一个比较好的选择，不管是在公有云上还是说 IDC 环境中，都有不同的实现。我们可以实现协议，最终将具体的产品的选择权交给用户团队。

[qianchanger]

是的，ByConity定位是开源云数仓，所以选型了FDB。我们最近也在思考这个问题，现在有如下3个思路：

1. 自己实现一个分布式元数据管理，优点是没有外部依赖，缺点是开发成本比较高
2. 一个思路就是找fdb的其他开源或者云托管替代品。目前没有找他其他比较理想的替代系统。
3. 支持更多catalog，例如hive metastore，然后像iceberg那样把metadata更多的存储在s3/hdfs上。

欢迎讨论，有什么好的想法或者建议吗？

不考虑下Oceanbase吗?