<div dir="ltr"><div class="gmail_default" style="font-family:courier new,monospace">If you're running 32 bit Erlang, only 4 GB of memory is available for a single process. I think that the stack+heap value is in words, not in bytes, so on 32 bit Erlang you have to multiply it by 4, but I'm not quite sure. I my experience usually the processes with the longest queues are guilty in running out of memory (the process gets stuck, can't handle the incoming messages, the queue goes large and memory is eventually exhausted). Even though the queue length is only 1, my suspect is process <span style><0.21060.67>.</span></div>
<div class="gmail_extra"><br><br><div class="gmail_quote">2014-03-17 9:51 GMT+01:00 József Bérces <span dir="ltr"><<a href="mailto:jozsef.berces@ericsson.com" target="_blank">jozsef.berces@ericsson.com</a>></span>:<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">





<div link="blue" vlink="purple" lang="EN-US">
<div>
<p class="MsoNormal">I receive the classic “eheap_alloc: Cannot allocate…” message. It wants to allocate ~1GB memory and that fails. That is fine, I am doing something wrong. So I took the crash dump and tried to find out which one of my processes is the guilty
 one. <u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">Unfortunately, I cannot tell it from the crash dump. <u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">The memory section says:<u></u><u></u></p>
<p class="MsoNormal">=memory<u></u><u></u></p>
<p class="MsoNormal">total: 15447352528<u></u><u></u></p>
<p class="MsoNormal">processes: 15140232809<u></u><u></u></p>
<p class="MsoNormal">processes_used: 15140005610<u></u><u></u></p>
<p class="MsoNormal">system: 307119719<u></u><u></u></p>
<p class="MsoNormal">atom: 512601<u></u><u></u></p>
<p class="MsoNormal">atom_used: 496586<u></u><u></u></p>
<p class="MsoNormal">binary: 148574400<u></u><u></u></p>
<p class="MsoNormal">code: 21228007<u></u><u></u></p>
<p class="MsoNormal">ets: 119988984<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">I have 16GB RAM, so the processes use almost all. There are 4010 processes. 1 garbing, 31 scheduled, 3978 waiting. If I sum stack+heap of all the processes then I get ~700MB. That is very far from 16GB. Here are the top 10 stack+heap processes:<u></u><u></u></p>

<table style="width:382.8pt;border-collapse:collapse" border="0" cellpadding="0" cellspacing="0" width="510">
<tbody>
<tr style="height:15pt">
<td style="width:70.8pt;border:1pt solid windowtext;background:none repeat scroll 0% 0% rgb(0,112,192);padding:0in 5.4pt;height:15pt" valign="bottom" width="94" nowrap>
<p class="MsoNormal"><b><span style="color:white">Pid <u></u><u></u></span></b></p>
</td>
<td style="width:109.65pt;border-width:1pt 1pt 1pt medium;border-style:solid solid solid none;border-color:windowtext windowtext windowtext -moz-use-text-color;background:none repeat scroll 0% 0% rgb(0,112,192);padding:0in 5.4pt;height:15pt" valign="bottom" width="146" nowrap>

<p class="MsoNormal"><b><span style="color:white">State<u></u><u></u></span></b></p>
</td>
<td style="width:72.3pt;border-width:1pt 1pt 1pt medium;border-style:solid solid solid none;border-color:windowtext windowtext windowtext -moz-use-text-color;background:none repeat scroll 0% 0% rgb(0,112,192);padding:0in 5.4pt;height:15pt" valign="bottom" width="96" nowrap>

<p class="MsoNormal"><b><span style="color:white">Reductions<u></u><u></u></span></b></p>
</td>
<td style="width:64.05pt;border-width:1pt 1pt 1pt medium;border-style:solid solid solid none;border-color:windowtext windowtext windowtext -moz-use-text-color;background:none repeat scroll 0% 0% rgb(0,112,192);padding:0in 5.4pt;height:15pt" valign="bottom" width="85" nowrap>

<p class="MsoNormal"><b><span style="color:white">Stack+heap<u></u><u></u></span></b></p>
</td>
<td style="width:66pt;border-width:1pt 1pt 1pt medium;border-style:solid solid solid none;border-color:windowtext windowtext windowtext -moz-use-text-color;background:none repeat scroll 0% 0% rgb(0,112,192);padding:0in 5.4pt;height:15pt" valign="bottom" width="88" nowrap>

<p class="MsoNormal"><b><span style="color:white">MsgQ Length<u></u><u></u></span></b></p>
</td>
</tr>
<tr style="height:15pt">
<td style="width:70.8pt;border-width:medium 1pt 1pt;border-style:none solid solid;border-color:-moz-use-text-color windowtext windowtext;padding:0in 5.4pt;height:15pt" valign="bottom" width="94" nowrap>
<p class="MsoNormal"><span style><0.21060.67><u></u><u></u></span></p>
</td>
<td style="width:109.65pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="146">
<p class="MsoNormal"><span style>Garbing (limited info)<u></u><u></u></span></p>
</td>
<td style="width:72.3pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="96">
<p class="MsoNormal" style="text-align:right" align="right"><span style>1,508,838,180<u></u><u></u></span></p>
</td>
<td style="width:64.05pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="85">
<p class="MsoNormal" style="text-align:right" align="right"><span style>145,962,050<u></u><u></u></span></p>
</td>
<td style="width:66pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="88">
<p class="MsoNormal" style="text-align:right" align="right"><span style>1<u></u><u></u></span></p>
</td>
</tr>
<tr style="height:15pt">
<td style="width:70.8pt;border-width:medium 1pt 1pt;border-style:none solid solid;border-color:-moz-use-text-color windowtext windowtext;padding:0in 5.4pt;height:15pt" valign="bottom" width="94" nowrap>
<p class="MsoNormal"><span style><0.25689.27><u></u><u></u></span></p>
</td>
<td style="width:109.65pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="146">
<p class="MsoNormal"><span style>Waiting<u></u><u></u></span></p>
</td>
<td style="width:72.3pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="96">
<p class="MsoNormal" style="text-align:right" align="right"><span style>86,670,344<u></u><u></u></span></p>
</td>
<td style="width:64.05pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="85">
<p class="MsoNormal" style="text-align:right" align="right"><span style>145,962,050<u></u><u></u></span></p>
</td>
<td style="width:66pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="88">
<p class="MsoNormal" style="text-align:right" align="right"><span style>0<u></u><u></u></span></p>
</td>
</tr>
<tr style="height:15pt">
<td style="width:70.8pt;border-width:medium 1pt 1pt;border-style:none solid solid;border-color:-moz-use-text-color windowtext windowtext;padding:0in 5.4pt;height:15pt" valign="bottom" width="94" nowrap>
<p class="MsoNormal"><span style><0.10003.68><u></u><u></u></span></p>
</td>
<td style="width:109.65pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="146">
<p class="MsoNormal"><span style>Waiting<u></u><u></u></span></p>
</td>
<td style="width:72.3pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="96">
<p class="MsoNormal" style="text-align:right" align="right"><span style>1,363,039<u></u><u></u></span></p>
</td>
<td style="width:64.05pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="85">
<p class="MsoNormal" style="text-align:right" align="right"><span style>38,263,080<u></u><u></u></span></p>
</td>
<td style="width:66pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="88">
<p class="MsoNormal" style="text-align:right" align="right"><span style>0<u></u><u></u></span></p>
</td>
</tr>
<tr style="height:15pt">
<td style="width:70.8pt;border-width:medium 1pt 1pt;border-style:none solid solid;border-color:-moz-use-text-color windowtext windowtext;padding:0in 5.4pt;height:15pt" valign="bottom" width="94" nowrap>
<p class="MsoNormal"><span style><0.15943.66><u></u><u></u></span></p>
</td>
<td style="width:109.65pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="146">
<p class="MsoNormal"><span style>Waiting<u></u><u></u></span></p>
</td>
<td style="width:72.3pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="96">
<p class="MsoNormal" style="text-align:right" align="right"><span style>1,882,465,380<u></u><u></u></span></p>
</td>
<td style="width:64.05pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="85">
<p class="MsoNormal" style="text-align:right" align="right"><span style>30,610,465<u></u><u></u></span></p>
</td>
<td style="width:66pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="88">
<p class="MsoNormal" style="text-align:right" align="right"><span style>0<u></u><u></u></span></p>
</td>
</tr>
<tr style="height:15pt">
<td style="width:70.8pt;border-width:medium 1pt 1pt;border-style:none solid solid;border-color:-moz-use-text-color windowtext windowtext;padding:0in 5.4pt;height:15pt" valign="bottom" width="94" nowrap>
<p class="MsoNormal"><span style><0.15879.68><u></u><u></u></span></p>
</td>
<td style="width:109.65pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="146">
<p class="MsoNormal"><span style>Waiting<u></u><u></u></span></p>
</td>
<td style="width:72.3pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="96">
<p class="MsoNormal" style="text-align:right" align="right"><span style>471,549<u></u><u></u></span></p>
</td>
<td style="width:64.05pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="85">
<p class="MsoNormal" style="text-align:right" align="right"><span style>30,610,465<u></u><u></u></span></p>
</td>
<td style="width:66pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="88">
<p class="MsoNormal" style="text-align:right" align="right"><span style>0<u></u><u></u></span></p>
</td>
</tr>
<tr style="height:15pt">
<td style="width:70.8pt;border-width:medium 1pt 1pt;border-style:none solid solid;border-color:-moz-use-text-color windowtext windowtext;padding:0in 5.4pt;height:15pt" valign="bottom" width="94" nowrap>
<p class="MsoNormal"><span style><0.31854.67><u></u><u></u></span></p>
</td>
<td style="width:109.65pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="146">
<p class="MsoNormal"><span style>Waiting<u></u><u></u></span></p>
</td>
<td style="width:72.3pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="96">
<p class="MsoNormal" style="text-align:right" align="right"><span style>154,500,777<u></u><u></u></span></p>
</td>
<td style="width:64.05pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="85">
<p class="MsoNormal" style="text-align:right" align="right"><span style>24,488,375<u></u><u></u></span></p>
</td>
<td style="width:66pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="88">
<p class="MsoNormal" style="text-align:right" align="right"><span style>0<u></u><u></u></span></p>
</td>
</tr>
<tr style="height:15pt">
<td style="width:70.8pt;border-width:medium 1pt 1pt;border-style:none solid solid;border-color:-moz-use-text-color windowtext windowtext;padding:0in 5.4pt;height:15pt" valign="bottom" width="94" nowrap>
<p class="MsoNormal"><span style><0.16221.68><u></u><u></u></span></p>
</td>
<td style="width:109.65pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="146">
<p class="MsoNormal"><span style>Waiting<u></u><u></u></span></p>
</td>
<td style="width:72.3pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="96">
<p class="MsoNormal" style="text-align:right" align="right"><span style>262,114<u></u><u></u></span></p>
</td>
<td style="width:64.05pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="85">
<p class="MsoNormal" style="text-align:right" align="right"><span style>24,488,375<u></u><u></u></span></p>
</td>
<td style="width:66pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="88">
<p class="MsoNormal" style="text-align:right" align="right"><span style>0<u></u><u></u></span></p>
</td>
</tr>
<tr style="height:15pt">
<td style="width:70.8pt;border-width:medium 1pt 1pt;border-style:none solid solid;border-color:-moz-use-text-color windowtext windowtext;padding:0in 5.4pt;height:15pt" valign="bottom" width="94" nowrap>
<p class="MsoNormal"><span style><0.16628.68><u></u><u></u></span></p>
</td>
<td style="width:109.65pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="146">
<p class="MsoNormal"><span style>Waiting<u></u><u></u></span></p>
</td>
<td style="width:72.3pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="96">
<p class="MsoNormal" style="text-align:right" align="right"><span style>117,268<u></u><u></u></span></p>
</td>
<td style="width:64.05pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="85">
<p class="MsoNormal" style="text-align:right" align="right"><span style>24,488,375<u></u><u></u></span></p>
</td>
<td style="width:66pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="88">
<p class="MsoNormal" style="text-align:right" align="right"><span style>0<u></u><u></u></span></p>
</td>
</tr>
<tr style="height:15pt">
<td style="width:70.8pt;border-width:medium 1pt 1pt;border-style:none solid solid;border-color:-moz-use-text-color windowtext windowtext;padding:0in 5.4pt;height:15pt" valign="bottom" width="94" nowrap>
<p class="MsoNormal"><span style><0.15878.68><u></u><u></u></span></p>
</td>
<td style="width:109.65pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="146">
<p class="MsoNormal"><span style>Waiting<u></u><u></u></span></p>
</td>
<td style="width:72.3pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="96">
<p class="MsoNormal" style="text-align:right" align="right"><span style>453,490<u></u><u></u></span></p>
</td>
<td style="width:64.05pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="85">
<p class="MsoNormal" style="text-align:right" align="right"><span style>19,590,700<u></u><u></u></span></p>
</td>
<td style="width:66pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="88">
<p class="MsoNormal" style="text-align:right" align="right"><span style>0<u></u><u></u></span></p>
</td>
</tr>
<tr style="height:15pt">
<td style="width:70.8pt;border-width:medium 1pt 1pt;border-style:none solid solid;border-color:-moz-use-text-color windowtext windowtext;padding:0in 5.4pt;height:15pt" valign="bottom" width="94" nowrap>
<p class="MsoNormal"><span style><0.16235.68><u></u><u></u></span></p>
</td>
<td style="width:109.65pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="146">
<p class="MsoNormal"><span style>Waiting<u></u><u></u></span></p>
</td>
<td style="width:72.3pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="96">
<p class="MsoNormal" style="text-align:right" align="right"><span style>181,968<u></u><u></u></span></p>
</td>
<td style="width:64.05pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="85">
<p class="MsoNormal" style="text-align:right" align="right"><span style>19,590,700<u></u><u></u></span></p>
</td>
<td style="width:66pt;border-width:medium 1pt 1pt medium;border-style:none solid solid none;border-color:-moz-use-text-color windowtext windowtext -moz-use-text-color;padding:0in 5.4pt;height:15pt" width="88">
<p class="MsoNormal" style="text-align:right" align="right"><span style>0<u></u><u></u></span></p>
</td>
</tr>
</tbody>
</table>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">Any ideas how to tell which process needs ~1GB memory?<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">Thanks,<u></u><u></u></p>
<p class="MsoNormal">Jozsef<u></u><u></u></p>
</div>
</div>

<br>_______________________________________________<br>
erlang-questions mailing list<br>
<a href="mailto:erlang-questions@erlang.org">erlang-questions@erlang.org</a><br>
<a href="http://erlang.org/mailman/listinfo/erlang-questions" target="_blank">http://erlang.org/mailman/listinfo/erlang-questions</a><br>
<br></blockquote></div><br></div></div>