JobDefaultConfig.upload_max_bytes配置无效

[zhanhtCN]

fate 1.7.0版本
配置中，upload_max_bytes是4194304000

但是upload组件打印日志，发现upload_max_bytes是104857600

[zhihuiwan]

上传时采用分块put，这个配置实际是每一块的大小。配置命名有点歧义，后面我们换个名字。

[zhanhtCN]

上传时采用分块put，这个配置实际是每一块的大小。配置命名有点歧义，后面我们换个名字。

你好，我upload发现网速成为了瓶颈，这个有啥加速的配置或者方法吗？
900w行数据，42G，16partiton，upload 40min

[zhanhtCN]

上传时采用分块put，这个配置实际是每一块的大小。配置命名有点歧义，后面我们换个名字。

你好，我upload发现网速成为了瓶颈，这个有啥加速的配置或者方法吗？ 900w行数据，42G，16partiton，upload 40min

过程中，机器的磁盘和cpu都没太大波动，主要是这个网络流量限制了速度，
为啥会有网络流量，我理解这个即使有，也是内部局域网吧，容器间的网络传输？
如何可以更加充分的利用网速？

[zhanhtCN]

@zhihuiwan 求大佬帮忙看看

[jat001]

上传时采用分块put，这个配置实际是每一块的大小。配置命名有点歧义，后面我们换个名字。

你好，我upload发现网速成为了瓶颈，这个有啥加速的配置或者方法吗？ 900w行数据，42G，16partiton，upload 40min

这是某个 interface 还是总流量，如果是总流量，我怀疑是 loopback

[zhanhtCN]

总的吧，这是机器层面的监控，所以upload就是会走网卡？

[jat001]

总的吧，这是机器层面的监控，所以upload就是会走网卡？

设计原因，基本所有api都会走localhost

[zhanhtCN]

总的吧，这是机器层面的监控，所以upload就是会走网卡？

设计原因，基本所有api都会走localhost

那请问当前这个upload操作可以通过改什么配置，或其他方式，把速度提上去呢？感觉当前网速没利用充分

[SnakeCN21]

fate 1.7.0版本 配置中，upload_max_bytes是4194304000

但是upload组件打印日志，发现upload_max_bytes是104857600

老哥, 你有解决方案吗? 我也遇到一样的问题了, job default config not supported upload_max_bytes, 在 reader 就挂了

[jat001]

@SnakeCN21 是1.9.0吗？