<div dir="ltr">In that case, won't the memory reported in the "Memory" tab also be lesser (post garbage collection)?<div><br clear="all"><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div>Cheers,<br>Anshul Mittal</div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Aug 13, 2020 at 7:34 AM Fred Hebert <<a href="mailto:mononcqc@ferd.ca">mononcqc@ferd.ca</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>From what I recall seeing, the crash dump, before being produced, has what looks like garbage collection running to eliminate some of the stale data.</div><div><br></div><div>So if the node runs out of memory because it has a lot of garbage, you unfortunately can't see post-facto, and you have to kind of catch it live to analyze what is going on.</div><div><br></div><div>Regards,</div><div>Fred.<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Aug 13, 2020 at 12:40 AM Anshul Mittal <<a href="mailto:mittal.anshul@gmail.com" target="_blank">mittal.anshul@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi,<div>I have a prod BEAM running on OTP 22 . I recently saw a crash in prod, which generated a crash dump. The memory consumption of the process jumped rapidly from ~5G to ~40G within a matter of a couple of minutes. </div><div><br></div><div>Slogan: eheap_alloc: Cannot allocate 6664208 bytes of memory (of type "old_heap").</div><div>System version: Erlang/OTP 22 [erts-10.7.1] [source-471fe20989] [64-bit] [smp:36:36] [ds:36:36:10] [async-threads:1] [frame-pointer]<br></div><div><br></div><div>When I analyzed the crash dump in the crash dump viewer, it shows the following summary on the memory tab:</div><div><br></div><div>Total: 50 GB</div><div>Processes: 42 GB</div><div>Processes Used: 42 GB</div><div>System: 7728 MB</div><div>...</div><div><br></div><div>However, when I sum the "Memory: " information from the individual process entries in the crash dump, it only adds up to ~3G .</div><div><br></div><div>I do see some processes with "WARNING: This process has an incomplete heap. Some information might be missing. " However, from what I can tell from the code here: <a href="https://fburl.com/ye99sjs9" target="_blank">https://fburl.com/ye99sjs9</a> , this warning means that reference counted binaries are missing from the crash dump, and not the information about the process heap itself.</div><div><br></div><div>The crashdump itself doesn't seem to be truncated (don't see any such message on the "General Information" tab in the viewer).</div><div><br></div><div>What could explain the discrepancy here?<br></div><div><br><div><br></div></div><div><div><div dir="ltr"><div dir="ltr"><div>Cheers,<br>Anshul Mittal</div></div></div></div></div></div>
</blockquote></div>
</blockquote></div>