Mesures, métriques et bancs d'essai (Benchmarks)

Généralités

Mesurer l'exécution des algorithmes génériques (par Dave Musser, rien de moins) : http://www.cs.rpi.edu/~musser/gp/timing.html

À propos de la difficulté d'évaluer les « performances » de disque SSD, texte de 2010 par Marc Bevand : http://blog.zorinaq.com/many-ssd-benchmark-reviews-contain-flaws/

Mesurer le temps requis pour le calcul d'une racine carrée : http://assemblyrequired.crashworks.org/2009/10/16/timing-square-root/

Comment mesurer la rapidité d'exécution dans les jeux, maintenant que nous utilisons à la fois les unités graphiques parallèles (GPU) et les unités centrales de traitement (CPU)? Texte de Scott Wasson en 2011 : http://techreport.com/articles.x/21516

Utiliser Box2D, le moteur de physique derrière Angry Birds, en tant que métrique de performance, un texte de Joel Webber en 2011 : http://blog.j15r.com/2011/12/for-those-unfamiliar-with-it-box2d-is.html

Textes d'Andrew Koenig en 2013 :

• Plus l'impact d'une optimisation est important dans un programme et plus il importe de mesurer cet impact pour s'assurer qu'il correspond aux attentes : http://www.drdobbs.com/cpp/abstraction-and-performance-bugs/240164188
• La difficulté de mesurer le temps requis pour réaliser une opération est fortement influencé par le nombre de niveaux d'abstraction que cette opération implique :  http://www.drdobbs.com/cpp/performance-bugs-can-be-hard-to-detect/240164327
• Comment évaluer la rapidité moyenne d'exécution d'un programme : http://www.drdobbs.com/cpp/how-can-one-test-a-programs-average-perf/240164691

En 2014, Nicholas Nethercote publie (à titre personnel) un manifeste pour les tests de « performances » (Benchmarks) des fureteurs : https://blog.mozilla.org/nnethercote/2014/06/16/a-browser-benchmarking-manifesto/

• Mettre en place des invariants sur la « performance », des textes de Juan Cruz Nores en 2011 :
  • http://www.codng.com/2011/02/performance-invariants.html
  • http://www.codng.com/2011/02/performance-invariants-part-ii.html

Mesurer correctement l'utilisation du processeur sous Linux, texte de 2014 : http://blog.monitorscout.com/2014/06/26/accurate-cpu-usage-measurement-on-linux/

Mesurer la vitesse du calcul d'une racine carrée, implémentée de plusieurs manières et sur plusieurs architectures, par Elan Ruskin en 2009 :

• http://assemblyrequired.crashworks.org/timing-square-root/
• http://assemblyrequired.crashworks.org/square-roots-in-vivo-normalizing-vectors/

En 2014, Rico Marinoni propose une approche pour mesurer les variations de vitesse d'exécution avec l'évolution du code : http://blogs.msdn.com/b/ricom/archive/2014/12/13/a-systematic-approach-to-finding-performance-regressions-using-overweight-analysis.aspx

Comment utiliser l'instruction RTDSC pour compter les cycles d'instruction dans un ordinateur, et les limites de cette démarche, texte de Jonas Wagner en 2015 : http://blog.purpureus.net/technology/2015/01/26/counting-cpu-cycles.html

En 2015, Bruce Dawson présente une approche de suivi de l'utilisation du tas : https://randomascii.wordpress.com/2015/04/27/etw-heap-tracingevery-allocation-recorded/

Dans ce texte de 2015, Paul Watt explique ses difficultés à bien mesurer les raisons de l'inefficacité dans une implémentation en apparence très optimisée : http://codeofthedamned.com/index.php/alchemy-benchmarks

Texte de Julia Evans en 2016, proposant des techniques pour raffiner les pratiques de mesure du temps d'exécution des programmes : http://jvns.ca/blog/2016/07/23/rigorous-benchmarking-in-reasonable-time/

Éditorial de Frances Buontempo en 2016, portant sur la question de la mesure : https://accu.org/index.php/journals/2247

Selon les langages

Étude quantitative comparative de langages de programmation, qui met en relief les liens entre expressivité et « performance » : http://gmarceau.qc.ca/blog/2009/05/speed-size-and-dependability-of.html

À propos des subtilités dans la saisie de métriques avec les langages de programmation contemporains, par Matt Waren en 2014 : http://mattwarren.org/2014/09/19/the-art-of-benchmarking/

Bien mesurer l'exécution d'un programme .NET :

• Comment tester des applications .NET en mode console? Un article du Code Project : http://www.codeproject.com/KB/dotnet/Console_Application_Test.aspx
• Texte de Scott Hanselman en 2015 : http://www.hanselman.com/blog/ProperBenchmarkingToDiagnoseAndSolveANETSerializationBottleneck.aspx
• Texte de Scott Hanselman en 2016 : http://www.hanselman.com/blog/BenchmarkingNETCode.aspx

Mesurer adéquatement la vitesse d'exécution de programmes C#, série de textes d'Eric Lippert en 2013 :

• http://tech.pro/blog/1293/c-performance-benchmark-mistakes-part-one
• https://tech.pro/tutorial/1295/c-performance-benchmark-mistakes-part-two
• http://tech.pro/tutorial/1317/c-performance-benchmark-mistakes-part-three
• http://tech.pro/tutorial/1433/performance-benchmark-mistakes-part-four (pour tenir convenablement compte du moteur de collecte d'ordures)

Avec C++ :

• Comparer le coût d'un appel polymorphique dynamique (virtual) et statique (CRTP), texte d'Eli Bendersky en 2013 : http://eli.thegreenplace.net/2013/12/05/the-cost-of-dynamic-virtual-calls-vs-static-crtp-dispatch-in-c/
• Comparer la vitesse d'exécution entre la manipulation d'un vector<T> et d'un vector<shared_ptr<T>> en C++, par c en 2014 : http://www.bfilipek.com/2014/05/vector-of-objects-vs-vector-of-pointers.html
• Le microbenchmarking avec C++, par C++en 2016 : http://www.bfilipek.com/2016/01/micro-benchmarking-libraries-for-c.html

Avec Erlang :

• Texte de Joe Armstrong en 2015 sur la difficulté de mesurer le temps d'exécution de certains algorithmes avec Erlang : http://joearms.github.io/2015/01/08/Some_Performance-Measurements-On-Maps.html

Mesurer la vitesse d'exécution avec Go :

• Texte de 2016 par Kevin Burke : https://kev.inburke.com/kevin/real-life-go-benchmarking/?reddit

Avec Java :

• Mesurer le temps d'exécution à la nanoseconde près avec Java tout en évitant plusieurs pièges, un texte d'Aleksey Shipilëv en 2014 : http://shipilev.net/blog/2014/nanotrusting-nanotime/
• Étude de l'impact de la multiprogrammation sur les serveurs Java : http://iacoma.cs.uiuc.edu/caecw01/multi_java.pdf
• Visualiser le comportement du JIT de Java, texte de Oleg Shelajev en 2014 : http://zeroturnaround.com/rebellabs/why-it-rocks-to-finally-understand-java-jit-with-jitwatch/
• Texte de 2015 par Steven Haines, qui propose des éléments clés à mesurer pour évaluer le comportement d'une application Java : http://www.javacodegeeks.com/2015/05/top-5-java-performance-metrics-to-capture-in-enterprise-applications.html

Avec JavaScript :

• Conseils de Douglas Crockford : http://crockford.com/javascript/performance.html
• Tester asm.js : le test Massive, proposé par Alon Zakai et Robert Nyman en 2014 : https://hacks.mozilla.org/2014/11/massive-the-asm-js-benchmark/

Analyser les sources de programmes Perl : http://ulissesaraujo.wordpress.com/2011/02/06/lines-of-code-and-related-lines-oriented-statistics-with-perl/

Mesurer la vitesse d'exécution de programmes PHP : http://php.webtutor.pl/index.php/2011/04/04/hiphop-for-php-benchmark-revenge-of-php/

Mesurer la vitesse d'exécution des programmes Scala sur la base de l'utilisation de collections, par Li Haoyi en 2016 : http://www.lihaoyi.com/post/BenchmarkingScalaCollections.html

Outils

Divers outils pour réaliser des bancs d'essai.

• À propos du Linpack : http://www.netlib.org/utk/people/JackDongarra/faq-linpack.html
• Le Open Source Database Benchmark : http://osdb.sourceforge.net/

Utiliser Xperf pour mesurer la consommation de temps sur le processeur :

• Texte de Bruce Dawson en 2011 : http://randomascii.wordpress.com/2011/09/03/xperf-for-excess-cpu-consumption/
• Textes de Bruce Dawson en 2013 :
  • http://randomascii.wordpress.com/2013/04/23/xperf-for-excess-cpu-consumption-wpa-edition/
  • http://randomascii.wordpress.com/2013/10/28/new-version-of-xperfupgrade-now/

Divers outils pour tirer des métriques sous Linux, colligés par Brendan Gregg : http://www.brendangregg.com/linuxperf.html

Outil en ligne pour mesurer la vitesse d'exécution d'un extrait de code : http://quick-bench.com/