<div dir="ltr"><div>Hello Brian,<br><br></div>Just letting you know that I have just merged a fix which changes the rwlock I mentioned before to an rlock. This should reduce the contention which you are seeing if it was caused by many calls to erlang:nodes().<br>
<br>Lukas<br></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Tue, Apr 23, 2013 at 9:01 PM, Scott Lystig Fritchie <span dir="ltr"><<a href="mailto:fritchie@snookles.com" target="_blank">fritchie@snookles.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Brian Picciano <<a href="mailto:mediocregopher@gmail.com">mediocregopher@gmail.com</a>> wrote:<br>
<br>
bp> We have a pool of 3 erlang nodes, all on different servers. Every<br>
bp> afternoon, without fail, we start seeing lots of messages between<br>
bp> the nodes start having really high latency, on the order of tens of<br>
bp> seconds. [...]<br>
<br>
Brian, it's probably worthwhile to continue chasing the 'lcnt' avenue<br>
as you've been corresponding with Lukas...<br>
<br>
... but at the same time, I also wonder about "tens of seconds".  My gut<br>
says that such delays would require some amazingly high lock contention<br>
rates.  Something that can cause such messaging delays much more easily<br>
is network congestion/packet loss that triggers TCP slow start.  Many<br>
Linux kernels have the RTO_min value at one second, which is the amount<br>
of time to wait before entering slow start state.<br>
<br>
If network packet loss is a problem, this blog posting can explain one<br>
reason why it's happening:<br>
<a href="http://www.snookles.com/slf-blog/2012/01/05/tcp-incast-what-is-it/" target="_blank">http://www.snookles.com/slf-blog/2012/01/05/tcp-incast-what-is-it/</a><br>
<span class="HOEnZb"><font color="#888888"><br>
-Scott<br>
</font></span><div class="HOEnZb"><div class="h5">_______________________________________________<br>
erlang-questions mailing list<br>
<a href="mailto:erlang-questions@erlang.org">erlang-questions@erlang.org</a><br>
<a href="http://erlang.org/mailman/listinfo/erlang-questions" target="_blank">http://erlang.org/mailman/listinfo/erlang-questions</a><br>
</div></div></blockquote></div><br></div>