<div dir="ltr">The proplists already sorted. Thanks, I will look at N-ary tree. Looks like the NIF it's not a good idea due the sum of two lists with 100000 each will be more then 1ms (btw I know about dirty schedulers).<br><div class="gmail_extra"><br><div class="gmail_quote">2015-04-12 22:42 GMT+04:00 Hynek Vychodil <span dir="ltr"><<a href="mailto:vychodil.hynek@gmail.com" target="_blank">vychodil.hynek@gmail.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Sort by proper key and then merge join. Form N-nary tree between your nodes for merging and experiment with N. If not fast enough, convert to binaries and write NIFs, compress (Snappy, LZ4, ...) and so on. Unless you write more how keys in your proplists look like, there is not so much to advice.</div><div class="gmail_extra"><br><div class="gmail_quote"><div><div class="h5">On Sun, Apr 12, 2015 at 7:23 PM, Alexander Petrovsky <span dir="ltr"><<a href="mailto:askjuise@gmail.com" target="_blank">askjuise@gmail.com</a>></span> wrote:<br></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="h5"><div dir="ltr">Hello!<div><br></div><div>I have about 100 nodes in cluster, each node in cluster contains about 100000 elements in proplist. All proplists have equal length, the same keys, but different values. I need to get the sum values for every key between all proplists. By example, it can be represented as matrix NxM (N~=100, M~=100000), and I need to get the sum by column. </div><div><br></div><div>The problem is that it's too slow, even when I use the hackish way with ets:update_counter and N=2, it's take about 1.5 secs, If I make in parallel, it's take about 2-3 seconds.</div><div><br></div><div>How can I make it fast and efficient?</div><span><font color="#888888"><div><br></div><div>-- <br><div><div dir="ltr">Петровский Александр / Alexander Petrovsky,<br><br>Skype: askjuise<br><div>Phone: +7 914 8 820 815<div><br></div></div></div></div>
</div></font></span></div>
<br></div></div><span class="">_______________________________________________<br>
erlang-questions mailing list<br>
<a href="mailto:erlang-questions@erlang.org" target="_blank">erlang-questions@erlang.org</a><br>
<a href="http://erlang.org/mailman/listinfo/erlang-questions" target="_blank">http://erlang.org/mailman/listinfo/erlang-questions</a><br>
<br></span></blockquote></div><br></div>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr">Петровский Александр / Alexander Petrovsky,<br><br>Skype: askjuise<br><div>Phone: +7 914 8 820 815<div><br></div></div></div></div>
</div></div>