I hope this does not sound too rude, but what you're asking is a database optimization question that does not really have much to do with Erlang. I'm sure there is a ton of information out there on how to efficiently save a large amount of data in a DB. Figure that out first, then bother with Erlang. <br>
<br><br>Sergej<br><br><div class="gmail_quote">2009/2/17 Scott Zhang <span dir="ltr"><<a href="mailto:getyourcontacts@gmail.com">getyourcontacts@gmail.com</a>></span><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
<p>Hi. <br></p><p>I opened a question about mnesia days ago. Now I am facing another question.</p><p>I am going to scrape large amount of data and put them into database. Previously, my program was written in .NET/C# and saved the records into SqlServer, after 10 days running, I have 63M records in database which make SqlServer really slow, select single record need more than 1 minute which is unacceptable.</p>

<p></p><p>And days ago, I tried to save 7M records in mnesia with table type= disc_only_copies. I tested , select single one from that talbe need more than 20 seconds which is unacceptable too. ( I don't want to conclude mnesia's performance is worse than SqlServer.)</p>

<p>Lenz suggested me to use couchDB, just checked, couchDB depends on too much things and these depends make it hard to configure on window system. </p><p>So here, does anyone has a good suggestion for a database can fit 63M(this time may get 2billion) and select one node within 1 sec?</p>

<p>Thanks.</p><p>Regards.</p><p>Scott</p>
<br>_______________________________________________<br>
erlang-questions mailing list<br>
<a href="mailto:erlang-questions@erlang.org">erlang-questions@erlang.org</a><br>
<a href="http://www.erlang.org/mailman/listinfo/erlang-questions" target="_blank">http://www.erlang.org/mailman/listinfo/erlang-questions</a><br></blockquote></div><br>