<div dir="ltr">How long does it take for all the DOWN messages to be sent/processed?<div><br></div><div>These messages might not be allowing the net tick messages (see <font face="monospace, monospace">net_ticktime</font> in <a href="http://erlang.org/doc/man/kernel_app.html">http://erlang.org/doc/man/kernel_app.html</a>) to be responded in time. If this happens, the node that isn't able to respond before the <font face="monospace, monospace">net_ticktime</font> expires will be assumed to be disconnected.</div><div><br></div><div>What happens if after processing all the DOWN messages you issue a call to <font face="monospace, monospace">net_kernel:connect_node/1</font> for each of the nodes that seems to be down?</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Jul 10, 2017 at 4:14 PM, Steve Cohen <span dir="ltr"><<a href="mailto:scohen@discordapp.com" target="_blank">scohen@discordapp.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi all,<div><br></div><div>We have 12 nodes in a our guilds cluster, and on each, 500,000 processes.  We have another cluster that has 15 nodes with roughly four million processes on it, called sessions. Both clusters are in the same erlang distribution since our guilds monitor sessions and vice-versa.</div><div><br></div><div>Now, when one of our guild servers dies, as expected it generates a large number of DOWN messages to the sessions cluster. These messages bog down the sessions servers (obviously) while they process them, but when they're done processing, distribution appears to be completely broken. </div><div> <br clear="all"><div>By broken, I mean that the nodes are disconnected from one another, they're not exchanging messages, CPU usage was 0 and we couldn't even launch the remote console. </div><div><br></div><div>I can't imagine this is expected behavior, and was wondering if someone can shed some light on it.</div><div>We're open to the idea that we're doing something very, very wrong.</div><div><br></div><div><br></div><div>Thanks in advance for the help</div><span class="HOEnZb"><font color="#888888"><div><br></div>-- <br><div class="m_7580302084062849632gmail_signature" data-smartmail="gmail_signature"><div dir="ltr">Steve Cohen</div></div>
</font></span></div></div>
<br>______________________________<wbr>_________________<br>
erlang-questions mailing list<br>
<a href="mailto:erlang-questions@erlang.org">erlang-questions@erlang.org</a><br>
<a href="http://erlang.org/mailman/listinfo/erlang-questions" rel="noreferrer" target="_blank">http://erlang.org/mailman/<wbr>listinfo/erlang-questions</a><br>
<br></blockquote></div><br></div>