<div dir="ltr"><div>The only suggestion I have is to also run a test where you use 200,000 workers i.e. a worker per row by spawning a process per row instead of managing the partitioning. <br></div><div><br></div><div>For measuring running times you can use timer:tc/3 <br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sat, Jul 13, 2019 at 9:47 AM I Gusti Ngurah Oka Prinarjaya <<a href="mailto:okaprinarjaya@gmail.com">okaprinarjaya@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi,<div><br></div><div>I'm a super newbie, I had done very very simple parallel processing using erlang. I experimenting with my database containing about hundreds of thousands rows. I split the rows into different offsets then assign each worker-processes different rows based on offsets. For each row i doing simple similar text calculation using binary:longest_common_prefix/1</div><div><br></div><div>Let's assume my total rows is 200,000 rows of data.</div><div>At first, i try to create 10 worker-processes, i assign 20,000 rows at each worker-process.</div><div>Second, i try to create 20 worker-processes, i assign 10,000 rows at each worker-process.</div><div>Third, i try to create 40 worker-processes, i assign 5000 rows at each worker-process.</div><div><br></div><div>My machine specs:<br>- MacBook Pro (13-inch, 2017, Four Thunderbolt 3 Ports)</div><div>- Processor 3,1 GHz Intel Core i5 ( 2 physical cores, with HT )</div><div>- RAM 8 GB 2133 MHz LPDDR3</div><div><br></div><div>My questions is</div><div><br></div><div>1. How to quick calculation / dumb / simple calculation max Erlang's processes based on above machine specs?<br><br>2. The running time when doing similar text processing with 10 worker, or 20 worker or 40 worker was very blazingly fast. So i cannot feel, i cannot see the difference. How to measure or something like printing total minutes out? So i can see the difference.</div><div><br></div><div>3. How many scheduler need to active / available when i create 10 processes? or 20 processes? 40 processes? and so on..</div><div><br></div><div>Please enlightenment</div><div><br></div><div>Thank you super much </div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div></div>
_______________________________________________<br>
erlang-questions mailing list<br>
<a href="mailto:erlang-questions@erlang.org" target="_blank">erlang-questions@erlang.org</a><br>
<a href="http://erlang.org/mailman/listinfo/erlang-questions" rel="noreferrer" target="_blank">http://erlang.org/mailman/listinfo/erlang-questions</a><br>
</blockquote></div>