《3.3 ReceiverTraker, ReceivedBlockTracker 详解.md》讨论区

[lw-lin]

这里是 《3.3 ReceiverTraker, ReceivedBlockTracker 详解.md》 讨论区。

如需要贴代码，请复制以下内容并修改：

public static final thisIsJavaCode;

val thisIsScalaCode

谢谢！

[romantic123]

您好,文章中有些图片挂了,麻烦能重新贴一下么?

[lw-lin]

@romantic123
《3.3》中挂掉的图片已修复，感谢指出！:-)

[luphappy]

@lw-lin 您好，请教个问题，我现在从flume去数据，运行spark streaming的程序，设置了spark.streaming.blockInterval为1000ms，但感觉没有起作用，这种情况遇到过么，谢谢

[lizaigaoge550]

你好，我也看了源码，ReceiveTracker上是先启动BlockGenerator 才启动的Receiver, 而你的文章是先启动Receiver, 不知道对不对

[junhero]

@lw-lin
请问ReceiverTracker 监控 Receiver 是怎么做到的？
假如分发的excutor不正确，直接返回了false，ReceiverTracker中没找到在哪里有重新分发

[lw-lin]

@junhero

直接返回了 false 后，该分发 receiver 的 job 会正常结束；然后 ReceiverTracker 新起一个 job 再次分发这个 receiver:

https://github.com/apache/spark/blob/v2.0.0/streaming/src/main/scala/org/apache/spark/streaming/scheduler/ReceiverTracker.scala#L625

Hope it helps!

[hangim]

本文中 ReceiverTracker 分发和监控 Receiver, 下面第三段中

新的 `ReceiverSchedulingPolicy` 会对 Streaming 应用的更好的语义理解

此句话语句不顺，望修改

[yintengfei]

你好，现在Receive从redis zset读取数据，假设有10w个key,我启动了100个receiver
每个batch处理的数据量能读取所有redis数据吗？
比如我redis数据量不变，没每个batch 读取的数据量能保持一致吗？貌似看了这个介绍，是不行 的，如果想达到这个效果，怎么搞啊