Agrégation de traces d'exécution pour la visualisation de grands systèmes distribués

RÉSUMÉ. La visualisation de performance consiste à représenter graphiquement l’exécution d’applications parallèles pour procéder à leur analyse. Dans le cas de très grands systèmes, l’agrégation des données analysées est inévitable. Cet article met en évidence un problème scientifique majeur : comment produire des représentations agrégées qui ont un sens lors du passage à l’échelle ? Quatre éléments de réponse sont discutés. (1) Les outils de visualisation doivent garantir la compréhension et le contrôle par l’utilisateur du procédé d’agrégation. (2) Il est crucial d’estimer la qualité des représentations engendrées afin de distinguer les agrégations utiles (suppression d’informations redondantes) de celles qui sont dangereuses pour l’analyse (perte d’informations importantes). Nous proposons des mesures issues de la théorie de l’information pour quantifier ces deux aspects et pour ainsi engendrer des représentations multirésolutions (agrégation de données redondantes et conservation des données hétérogènes). (3) Les propriétés sémantiques et topologiques du système doivent également être prises en compte afin de garantir la juste interprétation des agrégats par l’utilisateur. La recherche des agrégations optimales est ainsi restreinte à un ensemble d’agrégations pertinentes sur le plan sémantique. (4) Des méthodes de calcul sophistiquées sont alors nécessaires pour sélectionner les agrégations optimales lors du passage à l’échelle. Nous proposons un algorithme à complexité linéaire (dans le cas de systèmes hiérarchiques) parvenant à agréger jusqu’à un million d’entités et garantissant l’interprétabilité des visualisations engendrées.

[1]  Matthew O. Ward,et al.  Interactive Data Visualization - Foundations, Techniques, and Applications , 2010 .

[2]  L. Infante,et al.  Hierarchical Clustering , 2020, International Encyclopedia of Statistical Science.

[3]  Saul Greenberg,et al.  Navigating hierarchically clustered networks through fisheye and full-zoom methods , 1996, TCHI.

[4]  Guido Juckeland,et al.  Comprehensive Performance Tracking with Vampir 7 , 2009, Parallel Tools Workshop.

[5]  Daniel A. Keim,et al.  Designing Pixel-Oriented Visualization Techniques: Theory and Applications , 2000, IEEE Trans. Vis. Comput. Graph..

[6]  Ian Davidson,et al.  Reveling in Constraints , 2009, ACM Queue.

[7]  Ben Shneiderman,et al.  Tree visualization with tree-maps: 2-d space-filling approach , 1992, TOGS.

[8]  H. Akaike.  A new look at the statistical model identification , 1974 .

[9]  Thierry Gautier,et al.  KAAPI: A thread scheduling runtime system for data flow computations on cluster of multi-processors , 2007, PASCO '07.

[10]  Huaiyu Zhu.  On Information and Sufficiency , 1997 .

[11]  Laxmikant V. Kalé,et al.  Towards scalable performance analysis and visualization through data reduction , 2008, 2008 IEEE International Symposium on Parallel and Distributed Processing.

[12]  Imre Csiszár,et al.  Axiomatic Characterizations of Information Measures , 2008, Entropy.

[13]  Jorma Rissanen,et al.  Minimum Description Length Principle , 2010, Encyclopedia of Machine Learning.

[14]  Jesús Labarta,et al.  Scalability of Tracing and Visualization Tools , 2005, PARCO.

[15]  Diane C. P. Smith,et al.  Database abstractions: aggregation and generalization , 1977, TODS.

[16]  Jacques Chassin de Kergommeaux,et al.  Pajé, an interactive visualization tool for tuning multi-threaded parallel applications , 2000, Parallel Comput..

[17]  Jean-Marc Vincent,et al.  A spatiotemporal data aggregation technique for performance analysis of large-scale execution traces , 2014, 2014 IEEE International Conference on Cluster Computing (CLUSTER).

[18]  Jean-Marc Vincent,et al.  Trace Management and Analysis for Embedded Systems , 2013, 2013 IEEE 7th International Symposium on Embedded Multicore Socs.

[19]  Lucas Mello Schnorr,et al.  A hierarchical aggregation model to achieve visualization scalability in the analysis of parallel applications , 2012, Parallel Comput..

[20]  James M. Wilson,et al.  Gantt charts: A centenary appreciation , 2003, Eur. J. Oper. Res..

[21]  Jean-Daniel Fekete,et al.  Hierarchical Aggregation for Information Visualization: Overview, Techniques, and Design Guidelines , 2010, IEEE Transactions on Visualization and Computer Graphics.

[22]  G. Rota.  The Number of Partitions of a Set , 1964 .

[23]  Y. Demazeau,et al.  Informational Measures of Aggregation for Complex Systems Analysis , 2012 .

[24]  Franck Cappello,et al.  Grid'5000: A Large Scale And Highly Reconfigurable Experimental Grid Testbed , 2006, Int. J. High Perform. Comput. Appl..

[25]  Jean-Marc Vincent,et al.  Building Optimal Macroscopic Representations of Complex Multi-agent Systems - Application to the Spatial and Temporal Analysis of International Relations Through News Aggregation , 2014, Trans. Comput. Collect. Intell..

[26]  Claire Cardie,et al.  Clustering with Instance-Level Constraints , 2000, AAAI/IAAI.

[27]  Bruce Edmonds,et al.  What is Complexity? - The philosophy of complexity per se with application to some examples in evolution , 1995 .

[28]  Jean-Marc Vincent,et al.  The Best-Partitions Problem: How to Build Meaningful Aggregations , 2013, 2013 IEEE/WIC/ACM International Joint Conferences on Web Intelligence (WI) and Intelligent Agent Technologies (IAT).

[29]  Rudolf Wille,et al.  Formal Concept Analysis as Mathematical Theory of Concepts and Concept Hierarchies , 2005, Formal Concept Analysis.

[30]  Javier Béjar,et al.  Integrating Declarative Knowledge in Hierarchical Clustering Tasks , 1999, IDA.

[31]  Jean-Marc Vincent,et al.  Detection and analysis of resource usage anomalies in large distributed systems through multi‐scale visualization , 2012, Concurr. Comput. Pract. Exp..

[32]  Sang Joon Kim,et al.  A Mathematical Theory of Communication , 2006 .

[33]  Tom Geller.  Supercomputing's exaflop target , 2011, CACM.

[34]  H. Akaike,et al.  Information Theory and an Extension of the Maximum Likelihood Principle , 1973 .

[35]  William Gropp,et al.  An efficient format for nearly constant-time access to arbitrary time intervals in large trace files , 2008, Sci. Program..

[36]  Lucas Mello Schnorr,et al.  Towards Visualization Scalability through Time Intervals and Hierarchical Organization of Monitoring Data , 2009, 2009 9th IEEE/ACM International Symposium on Cluster Computing and the Grid.

[37]  Michalis Vazirgiannis,et al.  On Clustering Validation Techniques , 2001, Journal of Intelligent Information Systems.

[38]  Toni Cortes,et al.  PARAVER: A Tool to Visualize and Analyze Parallel Code , 2007 .

[39]  Ben Shneiderman,et al.  Tree-maps: a space-filling approach to the visualization of hierarchical information structures , 1991, Proceeding Visualization '91.