<div dir="ltr">I think you need to provide more data.<div>   - how many images ("unknown" thousands is not very precise) - how big is the meta data?</div><div><br></div><div>I note you say thousands not millions. Say unknown = 100 then you have 100K images</div>
<div><br></div><div>100K images @ 100K per image = 10^10 Bytes = 10 GBytes (= tiny)</div><div><br></div><div>Assume the meta data is small say 100Bytes/image then the</div><div>meta data is 10^5 * 100 = 10^7 Bytes = 10 MB (= tiny)</div>
<div><br></div><div>If you have a machine with 1GB of memory this is 1% of total memory.</div><div><br></div><div>I'd </div><div><br></div><div>   Make sure the meta data is small, ie no tags in it and possible compressed and store the lot in RAM</div>
<div>   you could use an ets table or a custom binary.</div><div><br></div><div>You can store a heck of a lot of meta data in a GB and a heck of a lot of images in a TB</div><div>so I'd keep the meta data in RAM and the image data on disk.</div>
<div><br></div><div>If you intend to use a SSD you could keep everything on disk</div><div><br></div><div>Start with the simplest possible correct solution and measure. You'll be amazed what you can do with ets tables and</div>
<div>a GB of RAM</div><div><br></div><div>   Cheers</div><div><br></div><div>/Joe</div><div><br></div><div><br></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Mon, May 19, 2014 at 5:52 AM, Lloyd R. Prentice <span dir="ltr"><<a href="mailto:lloyd@writersglen.com" target="_blank">lloyd@writersglen.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hello,<br>
<br>
Suppose I anticipate unknown thousands of records, each containing meta-data associated with an image. Each image averages, say, 100KB. Retrieval is by key and queries on the meta data. Retrieval predominates over insert. Reliability and speed of access are high on the requirements list.<br>

<br>
I'm considering Riak. But...<br>
<br>
Questions:<br>
<br>
- Would it be best practice to store the each image in its associated record or would it be better to store the images separately in, say, directories or in a separate distributed file system such as leoFS?<br>
<br>
- Is there a better solution altogether?<br>
<br>
Many thanks,<br>
<br>
LRP<br>
<br>
Sent from my iPad<br>
_______________________________________________<br>
erlang-questions mailing list<br>
<a href="mailto:erlang-questions@erlang.org">erlang-questions@erlang.org</a><br>
<a href="http://erlang.org/mailman/listinfo/erlang-questions" target="_blank">http://erlang.org/mailman/listinfo/erlang-questions</a><br>
</blockquote></div><br></div>