<div dir="ltr"><div><div><div><div><div>Hi Erlangers,<br><br><a href="https://github.com/jlouis/eministat">https://github.com/jlouis/eministat</a><br><br></div>I'm happy to announce a beta of eministat, which is a minimal statistics application for benchmark measurement. Given two benchmarks runs, with several samples in each, eministat can analyse these statistically through the student's t-test. This allows you to put the test cases in relation to each other and figure out if one of the tests are significantly different from the other.<br><br></div>The advantage is that when you have variance in your tests, then this tool is far better at figuring out what to make of the numbers.<br><br></div>The tool is inspired by the ministat(1) application by Poul-Henning Kamp, and Bryan O'Sullivan's criterion Haskell benchmarking tool, and mixes ideas from both. A dedicated tool like R is better at extensive stats, but eministat is a fast quick way of doing the initial work in Erlang itself.<br><br></div>The end goal of this tool is to solve the computational part of benchmarking and not so much the sampling part itself. It serves as a way to end arguments about "Is method X faster than Y?" by paying attention to the statistics in the field. Hopefully this improves all Erlangers attitude toward performance testing and benchmarking.<br><br></div>Finally, if you have stats-knowledge, and want to cross-check me, I would be grateful.<br clear="all"><div><div><div><div><div><div><br>-- <br><div class="gmail_signature">J.</div>
</div></div></div></div></div></div></div>