Algorithmique pour les Réseaux Bayésiens et leurs extensions

Cette these est consacree a la presentation d'un algorithme nouveau et a la formalisation et l'amelioration d'algorithmes existants pour le calcul des lois marginales et conditionnelles dans les reseaux bayesiens. Le chapitre 1 presente la theorie des reseaux bayesiens. Nous introduisons une nouvelle notion, celle de reseau bayesien de niveau deux, utile pour l'introduction de notre algorithme de calcul sur les reseaux bayesiens ; nous donnons egalement quelques resultats fondamentaux et nous situons dans notre formalisme un exemple d'ecole de reseau bayesien dit «Visite en Asie» . Dans le second chapitre, nous exposons une propriete graphique appelee «d-separation» grâce a laquelle on peut determiner, pour tout couple de variables aleatoires ou de groupes de variables, et tout ensemble de conditionnement, s'il y a necessairement, ou non, independance conditionnelle. Nous presentons egalement dans ce chapitre des resultats concernant le calcul de probabilites ou probabilites conditionnelles dans les reseaux bayesiens en utilisant les proprietes de la d-separation. Ces resultats, qui concernent des ecritures a notre connaissance originales de la factorisation de la loi jointe et de la loi conditionnee d'une famille de variables aleatoires du reseau bayesien (en liaison avec la notion de reseau bayesien de niveau deux) doivent trouver leur utilite pour les reseaux bayesiens de grande taille. Le troisieme chapitre donne la presentation detaillee et la justification d'un des algorithmes connus de calcul dans les reseaux bayesiens : il s'agit de l'algorithme LS (Lauritzen and Spigelhalter), base sur la methode de l'arbre de jonction. Pour notre part, apres avoir presente la notion de suite recouvrante propre possedant la propriete d'intersection courante, nous proposons un algorithme en deux versions (dont l'une est originale) qui permet de construire une suite de parties d'un reseau bayesien possedant cette propriete. Cette presentation est accompagnee d'exemples. Dans le chapitre 4, nous donnons une presentation detaillee de l'algorithme des restrictions successives que nous proposons pour le calcul de lois (dans sa premiere version), et de lois conditionnelles (dans sa deuxieme version). Cela est presente apres l'introduction d'une nouvelle notion : il s'agit de la descendance proche. Nous presentons egalement une application de l'algorithme des restrictions successives sur l'exemple «Visite en Asie» presente en chapitre 1, et nous comparons le nombre d'operations elementaires effectuees avec celui qui intervient dans l'application de l'algorithme LS sur le meme exemple. Le gain de calcul qui, a la faveur de cet exemple, apparait au profit de l'algorithme des restrictions successives, sera comme toujours, d'autant plus marque que la taille des reseaux et le nombre de valeurs prises par les variables seront plus eleves. C'est ce qui justifie l'insertion de notre algorithme au seins de « ProBT » , un logiciel d'inference probabiliste, realise et diffuse par l'equipe Laplace localisee dans le laboratoire Gravir a INRIA Rhone Alpes. En annexes nous rappelons les proprietes des graphes orientes sans circuits, les notions de base sur l'independance conditionnelle et l'equivalence de plusieurs definitions des reseaux bayesiens.

[1]  Judea Pearl,et al.  GRAPHOIDS: A Graph-based logic for reasoning about relevance relations , 1985 .

[2]  Michel Minoux,et al.  Graphes et algorithmes , 1995 .

[3]  D. Geiger,et al.  Stratified exponential families: Graphical models and model selection , 2001 .

[4]  Gregory F. Cooper,et al.  The Computational Complexity of Probabilistic Inference Using Bayesian Belief Networks , 1990, Artif. Intell..

[5]  G F Cooper,et al.  A diagnostic method that uses causal knowledge and linear programming in the application of Bayes' formula. , 1986, Computer methods and programs in biomedicine.

[6]  Robert E. Tarjan,et al.  Simple Linear-Time Algorithms to Test Chordality of Graphs, Test Acyclicity of Hypergraphs, and Selectively Reduce Acyclic Hypergraphs , 1984, SIAM J. Comput..

[7]  Gregory F. Cooper,et al.  Response to the discussion of the paper ‘current research directions in the development of expert systems based on belief networks’ , 1989 .

[8]  Richard E. Neapolitan,et al.  Probabilistic reasoning in expert systems - theory and algorithms , 2012 .

[9]  Marina Meila,et al.  An Experimental Comparison of Several Clustering and Initialization Methods , 1998, UAI.

[10]  Duncan L. Smith The Efficient Propagation of Arbitrary Subsets of Beliefs in Discrete-Valued Bayesian Belief Networks , 2001 .

[11]  Gregory F. Cooper,et al.  A combination of exact algorithms for inference on Bayesian belief networks , 1991, Int. J. Approx. Reason..

[12]  D. Heckerman,et al.  Probabilistic diagnosis using a reformulation of the INTERNIST-1/QMR knowledge base. II. Evaluation of diagnostic performance. , 1991, Methods of information in medicine.

[13]  Eric Horvitz,et al.  The Lumière Project: Bayesian User Modeling for Inferring the Goals and Needs of Software Users , 1998, UAI.

[14]  David Heckerman,et al.  Causal independence for probability assessment and inference using Bayesian networks , 1996, IEEE Trans. Syst. Man Cybern. Part A.

[15]  Anders L. Madsen,et al.  Lazy Propagation in Junction Trees , 1998, UAI.

[16]  Gregory F. Cooper,et al.  Initialization for the Method of Conditioning in Bayesian Belief Networks , 1991, Artif. Intell..

[17]  Avi Pfeffer,et al.  Object-Oriented Bayesian Networks , 1997, UAI.

[18]  David Heckerman,et al.  Parameter Priors for Directed Acyclic Graphical Models and the Characteriration of Several Probability Distributions , 1999, UAI.

[19]  David Heckerman,et al.  A Tractable Inference Algorithm for Diagnosing Multiple Diseases , 2013, UAI.

[20]  Judea Pearl,et al.  A Constraint-Propagation Approach to Probabilistic Reasoning , 1985, UAI.

[21]  Franck Corset Aide à l'optimisation de maintenance à partir de réseaux bayésiens et fiabilité dans un contexte doublement censuré , 2003 .

[22]  David J. Spiegelhalter,et al.  Sequential updating of conditional probabilities on directed graphical structures , 1990, Networks.

[23]  Prakash P. Shenoy,et al.  Axioms for probability and belief-function proagation , 1990, UAI.

[24]  Behzad Parviz,et al.  On heuristics for finding loop cutsets in multiply-connected belief networks , 1990, UAI.

[25]  Judea Pearl,et al.  Fusion, Propagation, and Structuring in Belief Networks , 1986, Artif. Intell..

[26]  Gregory F. Cooper,et al.  Probabilistic inference in multiply connected belief networks using loop cutsets , 1990, Int. J. Approx. Reason..

[27]  David J. C. Mackay,et al.  Introduction to Monte Carlo Methods , 1998, Learning in Graphical Models.

[28]  Robert Cowell,et al.  Introduction to Inference for Bayesian Networks , 1998, Learning in Graphical Models.

[29]  Gregory F. Cooper,et al.  Computer-Based Medical Diagnosis Using Belief Networks and Bounded Probabilities , 1988 .

[30]  David J. Spiegelhalter,et al.  Local computations with probabilities on graphical structures and their application to expert systems , 1990 .

[31]  Michael I. Jordan,et al.  An Introduction to Variational Methods for Graphical Models , 1999, Machine-mediated learning.

[32]  Michael I. Jordan,et al.  Variational probabilistic inference and the QMR-DT database , 1998 .

[33]  Michael I. Jordan,et al.  Probabilistic Independence Networks for Hidden Markov Probability Models , 1997, Neural Computation.

[34]  S. Lauritzen Propagation of Probabilities, Means, and Variances in Mixed Graphical Association Models , 1992 .

[35]  Uffe Kjærulff Inference in Bayesian Networks Using Nested Junction Trees , 1998, Learning in Graphical Models.

[36]  Robert J. McEliece,et al.  The generalized distributive law , 2000, IEEE Trans. Inf. Theory.

[37]  David J. Spiegelhalter,et al.  Statistical reasoning and learning in knowledge-bases represented as causal networks , 1988 .

[38]  Finn Verner Jensen,et al.  Inference in Multiply Sectioned Bayesian Networks with Extended Shafer-Shenoy and Lazy Propagation , 1999, UAI.

[39]  Rina Dechter,et al.  Bucket elimination: A unifying framework for probabilistic inference , 1996, UAI.

[40]  David Heckerman,et al.  A Tutorial on Learning with Bayesian Networks , 1998, Learning in Graphical Models.

[41]  Robert Cowell,et al.  Advanced Inference in Bayesian Networks , 1999, Learning in Graphical Models.

[42]  Claude Berge,et al.  Graphs and Hypergraphs , 2021, Clustering.

[43]  David Heckerman,et al.  A combination of cutset conditioning with clique-tree propagation in the Pathfinder system , 1990, UAI.

[44]  Adnan Darwiche,et al.  Inference in belief networks: A procedural guide , 1996, Int. J. Approx. Reason..

[45]  Nevin L. Zhang,et al.  A simple approach to Bayesian network computations , 1994 .

[46]  Enrique F. Castillo,et al.  Expert Systems and Probabilistic Network Models , 1996, Monographs in Computer Science.

[47]  Michael I. Jordan,et al.  Variational methods for inference and estimation in graphical models , 1997 .

[48]  Y. Fu,et al.  ON THE PROBABILISTIC NETWORKS , 1943 .

[49]  David J. Spiegelhalter,et al.  Bayesian analysis in expert systems , 1993 .