<html>
  <head>
    <meta content="text/html; charset=ISO-8859-1"
      http-equiv="Content-Type">
  </head>
  <body bgcolor="#FFFFFF" text="#000000">
    Now that the ssl fixes where merged to 'master' the test fails for
    'pu' on my local build dropped "abit"<br>
    <a
href="http://bilbo.otp.ericsson.se:8080/job/otp_test_pu/lastCompletedBuild/testReport/">Latest
      Test Result</a> (56 failures / -171).<br>
    <br>
    So if you are using the new version of OpenSSL you might see a drop
    after yesterdays push<br>
    <br>
    On 11/15/2011 10:56 PM, Björn-Egil Dahlberg wrote:
    <blockquote
cite="mid:CAMjYFoMxpgP8j3CCjrh6NHXy3eUw0FZWjo8wyh31yQafuu0ZJA@mail.gmail.com"
      type="cite">The statement regarding stability are for a released
      and tagged Erlang/OTP, i.e. OTP_R14B04, OTP_R14B03.
      <div><br>
      </div>
      <div>You can expect less stability during development and
        especially between major versions, e.g. R14 -> R15. That
        said, we try to make things in master as stable as possible. It
        must compile and known issues must be resolved before merged to
        our development branches, but things do slip between the cracks.</div>
      <div><br>
      </div>
      <div>The number of failures of an entire run usually varies
        between hardware, os, environment etc. But the most I have seen
        have been nowhere near 292 failures. I think the highest i've
        ever seen have been around 200 and that was with native compiled
        stdlib and kernel and a faulty openssl. I don't have the figures
        in front of me but emulator, kernel and stdlib runs more or less
        clean. System has some undefined functions and MIB compiler
        error (faulty testcase). Corba and cos* has some issues in
        current master if I remember correctly. If inets, ssl or ssh are
        bonkers that usually mean a bad environment.</div>
      <div><br>
      </div>
      <div>// Björn-Egil</div>
      <div><br>
        <br>
        <div class="gmail_quote">2011/11/15 Scott Lystig Fritchie <span
            dir="ltr"><<a moz-do-not-send="true"
              href="mailto:fritchie@snookles.com">fritchie@snookles.com</a>></span><br>
          <blockquote class="gmail_quote" style="margin:0 0 0
            .8ex;border-left:1px #ccc solid;padding-left:1ex;">
            Hi, all.  I'm not quite certain if this is the best forum
            for this<br>
            question, but I'll try anyway.  What should I be expecting
            the status of<br>
            the full Erlang/OTP test suite to be for the "master" branch<br>
            a.k.a. R15A?<br>
            <br>
            I just ran a complete set of tests, per the instructions
            over at<br>
            <a moz-do-not-send="true"
              href="https://github.com/erlang/otp/wiki/Running-tests"
              target="_blank">https://github.com/erlang/otp/wiki/Running-tests</a>.
             I checked out the<br>
            "master" branch of the OTP repo, with this as the last
            commit:<br>
            <br>
               # git log | head -6<br>
               commit 9169a0322066614373ef2d602325e02e90ffc597<br>
               Merge: 6acdb64 5fbadf9<br>
               Author: Micael Karlberg <<a moz-do-not-send="true"
              href="mailto:bmk@erlang.org">bmk@erlang.org</a>><br>
               Date:   Mon Nov 14 17:06:17 2011 +0100<br>
            <br>
                   Merge branch 'bmk/megaco/r15_integration'<br>
            <br>
            ... and built on a 64-bit CentOS 5 machine (well, a virtual
            machine)<br>
            with 2GB of RAM and 2 virtual i686 CPUs.  After about 7
            hours of<br>
            runtime, I see that test_server/index.html reports:<br>
            <br>
               OK: 9780<br>
               Failed: 292<br>
               Skipped (User/Auto): 1228 (544/684)<br>
               Missing suites: 12<br>
            <br>
            According to the wiki:<br>
            <br>
               "There will currently be 15 or so failed test cases in
            the kernel<br>
               application."<br>
            <br>
            Have I managed to do something bad/stupid with my test
            environment, or<br>
            are the 292 failures about right for the current R15A code?<br>
            <br>
            -Scott<br>
            _______________________________________________<br>
            erlang-bugs mailing list<br>
            <a moz-do-not-send="true"
              href="mailto:erlang-bugs@erlang.org">erlang-bugs@erlang.org</a><br>
            <a moz-do-not-send="true"
              href="http://erlang.org/mailman/listinfo/erlang-bugs"
              target="_blank">http://erlang.org/mailman/listinfo/erlang-bugs</a><br>
          </blockquote>
        </div>
        <br>
      </div>
      <br>
      <fieldset class="mimeAttachmentHeader"></fieldset>
      <br>
      <pre wrap="">_______________________________________________
erlang-bugs mailing list
<a class="moz-txt-link-abbreviated" href="mailto:erlang-bugs@erlang.org">erlang-bugs@erlang.org</a>
<a class="moz-txt-link-freetext" href="http://erlang.org/mailman/listinfo/erlang-bugs">http://erlang.org/mailman/listinfo/erlang-bugs</a>
</pre>
    </blockquote>
    <br>
    <br>
    <pre class="moz-signature" cols="72">-- 
/Henrik Nord Erlang/OTP</pre>
  </body>
</html>