<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><br>
------------------------------<br>
<br>
Message: 4<br>
Date: Mon, 21 Dec 2015 15:12:04 +1300<br>
From: <<a href="mailto:ok@cs.otago.ac.nz">ok@cs.otago.ac.nz</a>><br>
To: zxq9 <<a href="mailto:zxq9@zxq9.com">zxq9@zxq9.com</a>><br>
Cc: <a href="mailto:erlang-questions@erlang.org">erlang-questions@erlang.org</a><br>
Subject: Re: [erlang-questions] Streaming a folder from one node to<br>
        another<br>
Message-ID:<br>
        <<a href="mailto:d2b337fe0720dc9ecefbcbb469661933.squirrel@chasm.otago.ac.nz">d2b337fe0720dc9ecefbcbb469661933.squirrel@chasm.otago.ac.nz</a>><br>
Content-Type: text/plain; charset="iso-8859-1"<br>
<br>
Re streaming an arbitrarily large folder from one node to another<br>
in a cluster:<br>
<br>
1. Why is it necessary to do this?<br>
   Why is it impossible or undesirable to just serve blocks from<br>
   the files to the other node on demand?<br>
<br></blockquote><div><br></div><div>To backup data in a sharded distributed system from a central point.</div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
2. You seem to be suggesting that it is necessary to communicate<br>
   the whole thing in one go.  Why is it not possible to set up<br>
   a common initial state and stream changes?<br>
<br></blockquote><div><br></div><div>Yes I am. There is no shared initial state.</div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
3. What are you going to do if the contents of the folder change<br>
   faster than you can stream them?<br>
<br></blockquote><div><br></div><div>Data files are immutable once written, with a bit of coordination it's possible to get a point in time snapshot.</div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
4. I'm wondering about the cost of streaming vs the cost of simply<br>
   switching the storage device from one node's control to<br>
   another's.  (In the extreme, getting a human to swap cables.<br>
   I mean, that could take just seconds.  Electronic switching would<br>
   likely be better.  And yes, I'm thinking of old "truck of tapes"<br>
   ideas.)  Surely the cluster is equipped to switch devices from<br>
   one CPU board to another in order to handle CPU board failure...<br>
<br></blockquote><div><br></div><div>This speculation is not relevant..</div><div><br></div><div> </div></div></div></div>