apache inlong FlinkSQL 如何对接？

[dockerzhang]

from @walkhan
1.数据通过apache inlong采集到kafka或者pulsar，如何采用flinkSQL对接？目前没有看地相关FlinkSQL内容？
2.从采集到Kafka或者Pulsar采用界面化配置即可？
3.看官网standalone也有集群，那么和依赖Flink的集群有啥区别？

[walkhan]

@dockerzhang 目前场景采集端那边要log日志，binlog,以及API都要用到。sort端，用flink web 封装平台dinky运行纯SQL，不写任何java代码。dinky git地址：https://github.com/DataLinkDC/dlink。如果apache inlong比较好用，后期打算将apache inlong集成到dinky中去。

[dockerzhang]

1，采集后的数据，InLong 支持直接从Pulsar/Kafka 消费，flinkSQL可以直接对接Pulsar/Kafka即可；这里不一样的地方是，从MQ中出来的消息是InLongMsg协议，需要线进行解码，解码逻辑可以参考https://inlong.apache.org/docs/next/development/inlong_msg
2，配置数据流时不选择具体流向，选“自主消费”即可
3，sort standalone不依赖flink也可以进行分拣，当前该模块还在完善中，当前可用sort flink进行分拣

[walkhan]

@dockerzhang
1.从MQ中出来的消息是InLongMsg协议，需要线进行解码，解码逻辑可以参考https://inlong.apache.org/docs/next/development/inlong_msg。这里MQ是指tubeMQ,和kafka/pulsar无关？
2. dataproxy是否支持正则表达式？
3. 配置数据流时不选择具体流向，选“自主消费”即可什么意思不是很理解？

[walkhan]

另外 dataproxy是否支持正则表达式？

[healchow]

1、MQ是一个统称的概念，目前 InLong 支持数据采集到 TubeMQ 和 Pulsar，其他类型的 MQ 后续是否扩展、何时扩展暂时待定；
3、不选择具体流向，是指一个数据流，从采集端上报到 MQ 之后，由用户自己写代码从 MQ 消费，而不用 InLong 的 Sort 模块去消费，我们把这个操作称为“自主消费”。

[dockerzhang]

“dataproxy是否支持正则表达式？”，dataproxy在数据流向中用户不可见，用户不需要对dataproxy做任何操作和配置

[walkhan]

@dockerzhang ，master分支 一个就是kafka是否已经支持了？binlog以及canal-json 现在master是否也已经支持？界面上是否支持kafka?

[dockerzhang]

master分支已经支持采集Kafka；binlog的采集也支持；当前还在测试验证中

[dockerzhang]

we are implementing #3658 to support the flink SQL, it will release in the next version.