You speak about many servers but one SAN.<div>What for? Real throughput is limited about 3 gbps. It means that you will be limited in writing no more than 10000 values ok 30kb per second.</div><div><br></div><div>There will be no cheap way to scale after this limit if you use storage, but if you shard and throw away your raid, you can scale.</div>
<div><br></div><br><div><br></div><div>Maybe yo<br><br>On Monday, December 10, 2012, Sean D  wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi all,<br>
<br>
We are currently running an application for a customer that stores a large<br>
number of key/value pairs.  Performance is important for us as we need to<br>
maintain a write rate of at least 10,000 keys/second on one server.  After<br>
evaluating various key/value stores, we found Bitcask worked extremely well<br>
for us and we went with this.<br>
<br>
The solution currently has multiple servers working independently of each<br>
and we would like to make the solution more resilient by using shared<br>
storage. I.e.  If one of the servers goes down, the others can pick up the<br>
work load and add to/read from the same store.<br>
<br>
I am aware that Riak seems to be the standard solution for a resilient<br>
key-value store in the Erlang world, however from my initial investigations,<br>
this seems to work by duplicating the data between Riak nodes, and this is<br>
something I want to avoid as the number of keys we are storing will be in<br>
the range of 100s of GB and I would prefer that the shared storage is used<br>
rather than data needing to be duplicated.  I am also concerned that the<br>
overhead of Riak may prove a bottle-neck, however this isn't something that<br>
I have tested.<br>
<br>
If anyone here has used a key/value store with a SAN or similar in this way,<br>
I'd be very keen to hear your experiences.<br>
<br>
Many thanks in advance,<br>
Sean<br>
_______________________________________________<br>
erlang-questions mailing list<br>
<a href="javascript:;" onclick="_e(event, 'cvml', 'erlang-questions@erlang.org')">erlang-questions@erlang.org</a><br>
<a href="http://erlang.org/mailman/listinfo/erlang-questions" target="_blank">http://erlang.org/mailman/listinfo/erlang-questions</a><br>
</blockquote></div>