<div dir="ltr">Maybe your gzip file is some kind of sparse file at some point, so, even this 64K compressed chunk inflates to huge uncompressed value?<div>In that case you may try <a href="http://erlang.org/doc/man/zlib.html#inflateChunk-2">http://erlang.org/doc/man/zlib.html#inflateChunk-2</a></div><div><br></div><div>Is VM memory grows linearly during program runtime or it grows instantly at some moment?</div><div><br></div><div>P.S.: what is this `stdio` module?</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><span style="font-size:12.8px">Hello,</span><br style="font-size:12.8px"><span style="font-size:12.8px">I?ve got an interesting issue with zlib at otp-18.2.1 I?ve not checked other releases yet.<br></span><span style="font-size:12.8px">I do have a file about 30GB of compressed data, it is expanded to 300GB of textual UTF8 data.<br></span><span style="font-size:12.8px">The producer of the file claims that standard gzip is used. The file header [1] is:<br></span><span style="font-size:12.8px">1F 8B 08 04 00 00 00 00 00 00 24 03</span><br style="font-size:12.8px"><span style="font-size:12.8px">My decompression program is very simple [2], it reads 64K binary chunks from file and inflates them using zlib:inflate(?).</span><br style="font-size:12.8px"><span style="font-size:12.8px">At some point of time, the inflate do not return and VM binary memory growth to infinity until it is crashed.<br></span><span style="font-size:12.8px">The crash is reproducible all the time with my file. The file is not corrupted and gzip is capable to perform it check and inflate data. The file becomes readable by program if it is inflated - deflated again using command line gzip. The header of readable file is:<br></span><span style="font-size:12.8px">1F 8B 08 00 6E EC E6 56 00 03 D4 BD</span><br style="font-size:12.8px"><span style="font-size:12.8px">I am having a challenge to debug this issue further to zlib and understand root-cause.<br></span><span style="font-size:12.8px">Do you have any suggestions on it?</span><br style="font-size:12.8px"><span style="font-size:12.8px">Best Regards,<br></span><span style="font-size:12.8px">Dmitry</span><br style="font-size:12.8px"><span style="font-size:12.8px">P.S: the file, I am taking about, contains confidential data and cannot be disclosed to community.</span><br style="font-size:12.8px"><span style="font-size:12.8px">Reference:<br></span><span style="font-size:12.8px">[1] </span><a href="http://www.zlib.org/rfc-gzip.html" rel="noreferrer" target="_blank" style="font-size:12.8px">http://www.zlib.org/rfc-gzip.html<br></a><span style="font-size:12.8px">[2] </span><a href="https://github.com/fogfish/feta/blob/master/src/gz.erl" rel="noreferrer" target="_blank" style="font-size:12.8px">https://github.com/fogfish/feta/blob/master/src/gz.erl</a></blockquote></div>