<p>Thanks. Sergej.</p><p>I think you're right. As the question turn into a database optimization question, I found, at last, the complex/dirty work left database and reply on our programmers again.  I am doing research at the meanwhile.</p>
<p>Thanks for your suggestion.</p><p>Regards.</p><p>Scott</p><br><div class="gmail_quote">2009/2/18 Rapsey <span dir="ltr"><<a href="mailto:rapsey@gmail.com">rapsey@gmail.com</a>></span><br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
I hope this does not sound too rude, but what you're asking is a database optimization question that does not really have much to do with Erlang. I'm sure there is a ton of information out there on how to efficiently save a large amount of data in a DB. Figure that out first, then bother with Erlang. <br>

<br><br>Sergej<br><br><div class="gmail_quote">2009/2/17 Scott Zhang <span dir="ltr"><<a href="mailto:getyourcontacts@gmail.com" target="_blank">getyourcontacts@gmail.com</a>></span><br><blockquote class="gmail_quote" style="border-left:1px solid rgb(204, 204, 204);margin:0pt 0pt 0pt 0.8ex;padding-left:1ex">
<div><div class="Wj3C7c">
<p>Hi. <br></p><p>I opened a question about mnesia days ago. Now I am facing another question.</p><p>I am going to scrape large amount of data and put them into database. Previously, my program was written in .NET/C# and saved the records into SqlServer, after 10 days running, I have 63M records in database which make SqlServer really slow, select single record need more than 1 minute which is unacceptable.</p>


<p>And days ago, I tried to save 7M records in mnesia with table type= disc_only_copies. I tested , select single one from that talbe need more than 20 seconds which is unacceptable too. ( I don't want to conclude mnesia's performance is worse than SqlServer.)</p>


<p>Lenz suggested me to use couchDB, just checked, couchDB depends on too much things and these depends make it hard to configure on window system. </p><p>So here, does anyone has a good suggestion for a database can fit 63M(this time may get 2billion) and select one node within 1 sec?</p>


<p>Thanks.</p><p>Regards.</p><p>Scott</p>
<br></div></div>_______________________________________________<br>
erlang-questions mailing list<br>
<a href="mailto:erlang-questions@erlang.org" target="_blank">erlang-questions@erlang.org</a><br>
<a href="http://www.erlang.org/mailman/listinfo/erlang-questions" target="_blank">http://www.erlang.org/mailman/listinfo/erlang-questions</a><br></blockquote></div><br>
<br>_______________________________________________<br>
erlang-questions mailing list<br>
<a href="mailto:erlang-questions@erlang.org">erlang-questions@erlang.org</a><br>
<a href="http://www.erlang.org/mailman/listinfo/erlang-questions" target="_blank">http://www.erlang.org/mailman/listinfo/erlang-questions</a><br></blockquote></div><br>