<div dir="ltr"><div>I am trying to build a rtp relay server for real time media transfer between clients.<br><br></div>only rtp/rtpc, not sip/sds<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Dec 9, 2015 at 3:25 PM, Bengt Johansson E <span dir="ltr"><<a href="mailto:bengt.e.johansson@ericsson.com" target="_blank">bengt.e.johansson@ericsson.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">





<div link="blue" vlink="purple" lang="SV">
<div>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Hi Bogdan!<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US">I’m sure you understand the difference between TCP and UDP, I just wanted to highlight it for the discussion.
</span><span style="font-size:11.0pt;font-family:Wingdings;color:#1f497d" lang="EN-US">J</span><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US"><u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US">Given that I don’t know your application, it is difficult to give specific advice. But let’s assume that your application involves sending messages
 using an application specific protocol to your server. Let’s also assume that each client needs to communicate with the server more than once, so we essentially have a connection between the clients and the server.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US">In that case you will have a dispatcher process like you mention that sends packets along to the processors. This could be round-robin, random
 or based on some identifier in the packet. In fact, the concurrent TCP server is implemented using that pattern as well, but it hands off the classification of connections to the TCP/IP stack by using different ports for each connection.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US">I agree that it would be kind of nifty for some applications to allow the UDP stack to spread incoming packets to more than one receiver, but that
 would be limited to random or round-robin distribution or some similar simple method since it doesn’t understand the contents of the packet.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US">Unfortunately, the dispatcher “pattern” puts a cap on the maximum possible concurrency. Amdahl’s law states that the maximum possible concurrency
 in a parallel system is limited by the sequential parts of the system since they will be saturated and then the parallel parts will just idle. So if the time spent in the sequential part (the dispatcher) is 10% per packet then you will get a maximum 10-fold
 increase in speed if you go parallel. If you spend 1% there you will get a 100-fold increase and so on.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US">Assuming that you application does a lot of computing for each packet (or waits for disk etc.) you are likely not going to run into that problem,
 but if you are implementing something that does very little to the packets (like a router or firewall) this might be a problem for you.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US">Note that I reason in terms of processing time, I don’t see why you can’t have millions of open connections if they do not communicate too much.
 Erlang is an excellent language for that kind of applications. <u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US">As for over-load situations, the UDP stack will handle that for you by dropping packets when it’s buffers run full. If that is a problem your application
 protocol will have to handle packet retransmits by itself.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US">Good luck with your project!<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US">BR, BengtJ<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US"><u></u> <u></u></span></p>
<p class="MsoNormal"><b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"" lang="EN-US">From:</span></b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"" lang="EN-US"> Bogdan Andu [mailto:<a href="mailto:bog495@gmail.com" target="_blank">bog495@gmail.com</a>]
<br>
<b>Sent:</b> den 9 december 2015 12:00<br>
<b>To:</b> Bengt Johansson E<br>
<b>Cc:</b> Erlang<br>
<b>Subject:</b> Re: [erlang-questions] UDP concurrent server<u></u><u></u></span></p><div><div class="h5">
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal" style="margin-bottom:12.0pt">Hi <span style="color:#222222">
Bengt,</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="color:#222222">Yes I am aware that udp sockets are working different than tcp sockets,</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-bottom:12.0pt"><span style="color:#222222">but I was wondering if there is an idiom for udp as it is for tcp to make things concurrent.</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="color:#222222">Having in mind the limitations of udp it seems that the best option
</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="color:#222222">is to implement the version with a controller process that receives udp packets
<br>
and in spawning processes to actually handle that packet based some info, and immediately</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="color:#222222">fetch the next message from message box.</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="color:#222222">My only concern here is the bottleneck. The message box can easily be overloaded
<br>
and the response of the server exponentially delayed.</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="color:#222222">Is there any best practices to handle such situations avoiding message box overloading</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-bottom:12.0pt"><span style="color:#222222">while handling say 1 million of concurrent (udp) connections ?</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-bottom:12.0pt"><span style="color:#222222">Thank you,</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="color:#222222">/Bogdan</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-bottom:12.0pt"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<p class="MsoNormal">On Wed, Dec 9, 2015 at 12:35 PM, Bengt Johansson E <<a href="mailto:bengt.e.johansson@ericsson.com" target="_blank">bengt.e.johansson@ericsson.com</a>> wrote:<u></u><u></u></p>
<div>
<div>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Hi Bogdan!</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US">Your questions make me a bit confused. I wonder *<b>why</b>* you want two processes
 waiting for packets from the same socket and *<b>what</b>* you expect to happen?</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US">Generally one usually only speaks about concurrent servers regarding TCP where you bind
 to a socket waiting for incoming connections and once a connection is established, you spawn a process (or thread depending on language) and process the data coming over the connection concurrently.</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US">Note that the main loop of the server that waits for responses is always sequential.
 The new process handling the connection gets a new socket with a free port used only for that particular connection.</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US">But! UDP lacks support for connections mainly since it is a message based protocol and
 hence is devoid of any connection abstraction </span><span style="font-size:11.0pt;font-family:Wingdings;color:#1f497d" lang="EN-US">J</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US">Still the question remains what is a concurrent UDP server? I guess what you want to
 achieve is some kind of distribution of incoming packets to several processes to handle them. In that case you should either go for the solution of TCP to set up new socket for each communication or write a simple process that classifies the incoming packets
 and distributes them to the correct process based on some information in the packet, fi. Some identifier you have chosen to identify the connection. Basically  you have to implement an application specific load balancer – or rather load distributor – hoping
 that the time taken to actually process the packets greatly overshadows the time it takes to distribute them.
</span><span style="font-size:11.0pt;font-family:Wingdings;color:#1f497d" lang="EN-US">J</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US">Anyway, there is no way the underlying UDP stack and/or erts can make the decision for
 you. To which process to send the packet that is.</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US">Hope that helps!</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US">BR, BengtJ</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US"> </span><u></u><u></u></p>
<p class="MsoNormal"><b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"" lang="EN-US">From:</span></b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"" lang="EN-US">
<a href="mailto:erlang-questions-bounces@erlang.org" target="_blank">erlang-questions-bounces@erlang.org</a> [mailto:<a href="mailto:erlang-questions-bounces@erlang.org" target="_blank">erlang-questions-bounces@erlang.org</a>]
<b>On Behalf Of </b>Bogdan Andu<br>
<b>Sent:</b> den 9 december 2015 10:15<br>
<b>To:</b> Erlang<br>
<b>Subject:</b> [erlang-questions] UDP concurrent server</span><u></u><u></u></p>
<div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
<div>
<div>
<p class="MsoNormal" style="margin-bottom:12.0pt">following the thread
<a href="https://groups.google.com/forum/?hl=en#!topic/erlang-programming/6Q3cLtJdwIU" target="_blank">
https://groups.google.com/forum/?hl=en#!topic/erlang-programming/6Q3cLtJdwIU</a><u></u><u></u></p>
</div>
<p class="MsoNormal">as it seems that POSt to topic does not work<u></u><u></u></p>
<div>
<div>
<p class="MsoNormal" style="margin-bottom:12.0pt"><br>
After more tests the basic questions that remains ..<br>
<br>
Is there a way to have more than one process be blocked<br>
in gen_udp:recv/2 call as this seems to not be possible,<br>
probably because the way udp sockets work.<br>
<br>
Sequentially works as expected, but when when I try to spawn another process<br>
that makes and attempt to execute gen_udp:recv/2 while the first process already does<br>
gen_udp:recv/2 , the second process gives elready error. This means that 2 process<br>
cannot concurrently do gen_udp:recv/2 .<br>
<br>
In scenario with socket {active, once} or {active, true} there is only one process that can<br>
receive the message from socket (the one that does gen_udp:open/2 ),<br>
and for multi-threaded applications this quickly can become a bottleneck.<br>
In this case, however, elready error disappears of course.<br>
.<br>
I tried both variants and both have disavantages.<br>
<br>
Is there an idiom for designing a udp concurrent server in Erlang?<br>
So far, it seems impossible.<u></u><u></u></p>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div></div></div>
</div>

</blockquote></div><br></div>