Hi,<br><br><div class="gmail_quote">2009/2/17 Scott Zhang <span dir="ltr"><<a href="mailto:getyourcontacts@gmail.com">getyourcontacts@gmail.com</a>></span><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
<p>Hi. <br></p><p>I opened a question about mnesia days ago. Now I am facing another question.</p><p>I am going to scrape large amount of data and put them into database. Previously, my program was written in .NET/C# and saved the records into SqlServer, after 10 days running, I have 63M records in database which make SqlServer really slow, select single record need more than 1 minute which is unacceptable.</p>

<p></p><p>And days ago, I tried to save 7M records in mnesia with table type= disc_only_copies. I tested , select single one from that talbe need more than 20 seconds which is unacceptable too. ( I don't want to conclude mnesia's performance is worse than SqlServer.)</p>
</blockquote><div>Have you tried to fragment the table? It is not clear from your question whether you are querying mnesia using the primary key, or matching using select statements. We currently have an mnesia database storing 40M+ records with lookup times in the order of a few milliseconds.<br>
<br>cheers<br>Chandru<br><br></div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"><p></p></blockquote></div>