
<html><head></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; ">Well, one can always use table fragmentation -- individual dets files are still going to be limited to 32-bits but table can go beyond that.<div>We have used this approach in the past (fragmented a very big table across 512 dets files), and it worked reasonably well…</div><div>There were a few performance problems mnesia had on a specific OS platforms (SOLARIS in particular) with a very poor file I/O caching.</div><div>But the one thing that was missing from mnesia, that actually made us abandon it for projects that required huge data volumes was a lack of flexibility regarding storage mechanism used.</div><div><br></div><div>And before you start thinking that I used more pot than usual, let me clarify:</div><div><br></div><div>Yes, once may chose between RAM, DISK or combination of the two. However, if you want to control the amount of RAM used by mensia, you are left with only once choice: disc only copy, which puts some performance constraints. </div><div>Thankfully, Erlang lends itself very nicely to "roll-your-own" approach and we managed to do just that with a relative ease.</div><div><br></div><div> Thus, if I were to suggest an improvement for mnesia, I'd say that having a disc_only_copy with a flexible caching may do the trick (well, this what we had to do to make our lives good again -- we did not use mnesia but a combination of ets and dets files with custom dets fragmentation).</div><div><br></div><div>Kind reagards</div><div><br><div>V/</div><div><br></div><div><br><div><div>On 15 Oct 2015, at 8:00 AM, Dan Gudmundsson wrote:</div><br class="Apple-interchange-newline"><blockquote type="cite"><div dir="ltr">You are right in that you are wrong, and so is the documentation then, <div>disc_copies tables is no longer using dets files as their backend storage.</div><div>That restriction have been removed (a long time ago).</div><div><span style="line-height:1.5"><br></span></div><div><span style="line-height:1.5">Tough, disc_only_copies are still using dets files and have the 32bits limit.</span><br></div><div><span style="line-height:1.5"><br></span></div><div><span style="line-height:1.5">A pointer (or a patch) to the documentation would be nice.</span></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr">On Thu, Oct 15, 2015 at 7:25 AM <<a href="mailto:ok@cs.otago.ac.nz">ok@cs.otago.ac.nz</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">According to <a href="http://www.erlang.org/faq/mnesia.html" rel="noreferrer" target="_blank">http://www.erlang.org/faq/mnesia.html</a><br>

"Dets uses 32 bit integers for file offsets,<br>

so the largest possible mnesia table (for now) is 4Gb".<br>

There is nothing there about the limits being different<br>

for in memory vs on disc.<br>

Poke around a bit more and you will find explicit claims<br>

that this limit applies both to disc only and to disc copies,<br>

e.g., "disc_copies tables are limited by their dets backend".<br>

You will also find the figures of 2GB and 3GB floating around.<br>

<br>

One thing that would be really nice would have to have<br>

accurate current limits prominently signposted (not necessarily<br>

*displayed*, just pointed to will do) near the beginning of the<br>

Mnesia manual.<br>

<br>

I've had serious problems with the Mnesia documentation in the<br>

past, so I'm quite prepared to believe that I have my facts<br>

totally wrong.<br>

<br>

<br>

_______________________________________________<br>

erlang-questions mailing list<br>

<a href="mailto:erlang-questions@erlang.org" target="_blank">erlang-questions@erlang.org</a><br>

<a href="http://erlang.org/mailman/listinfo/erlang-questions" rel="noreferrer" target="_blank">http://erlang.org/mailman/listinfo/erlang-questions</a><br>

</blockquote></div>

_______________________________________________<br>erlang-questions mailing list<br><a href="mailto:erlang-questions@erlang.org">erlang-questions@erlang.org</a><br>http://erlang.org/mailman/listinfo/erlang-questions<br></blockquote></div><br></div></div></body></html>