New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

[Bug] 使用flink1.17.2,通过flinksql-cdc读取pg数据库数据，实时写入doris出现数据丢失 #34647

Open

3 tasks done

qf8505 opened this issue May 10, 2024 · 0 comments

qf8505 commented May 10, 2024

Search before asking

I had searched in the issues and found no similar issues.

Version

flink1.17.2
doris2.0.2.1

What's Wrong?

如果一个flinksql脚本中包含多个表的实时写入，会导致随机丢失数据，查询日志发现都是写入成功。但是从表里边查不到数据
例如pg库有两个表test1,test2，doris有相同的test1和test2表，如果写两个flinkcdcsql同步数据，单独执行，没有问题，但是如果两个同步写到一个脚本里边执行，会出现偶发性的test1或者test2表没有写入数据，查看flink日志。有提示stream写入成功和数据量，但是表中没有数据，doris的fe和be也没有报错日志

What You Expected?

如果一个flinksql脚本中包含多个表的实时写入，会导致随机丢失数据，查询日志发现都是写入成功。但是从表里边查不到数据
例如pg库有两个表test1,test2，doris有相同的test1和test2表，如果写两个flinkcdcsql同步数据，单独执行，没有问题，但是如果两个同步写到一个脚本里边执行，会出现偶发性的test1或者test2表没有写入数据，查看flink日志。有提示stream写入成功和数据量，但是表中没有数据，doris的fe和be也没有报错日志

How to Reproduce?

No response

Anything Else?

如果一个flinksql脚本中包含多个表的实时写入，会导致随机丢失数据，查询日志发现都是写入成功。但是从表里边查不到数据
例如pg库有两个表test1,test2，doris有相同的test1和test2表，如果写两个flinkcdcsql同步数据，单独执行，没有问题，但是如果两个同步写到一个脚本里边执行，会出现偶发性的test1或者test2表没有写入数据，查看flink日志。有提示stream写入成功和数据量，但是表中没有数据，doris的fe和be也没有报错日志

Are you willing to submit PR?

Yes I am willing to submit a PR!

Code of Conduct

I agree to follow this project's Code of Conduct

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment