mardi 30 décembre 2014

Règles de décision prédictives - Diapos

Bien connu des chercheurs d’obédience « machine learning », l’induction de règles prédictives est rarement mise en avant en « statistical learning ». Cela m’a paru toujours un peu étrange, bien que faire la distinction entre les deux communautés n’est pas toujours évidente. Pour ma part, j’évite d’entrer dans ce genre de discussions. Pour simplifier, j’associe l’esprit « machine learning » à l’ouvrage de Tom Mitchell  (1997), « statistical learning » est plutôt rattaché au livre de Hastie, Tibshirani et Friedman (2009). Et je m’en tiens à cette idée. Je mesure parfaitement en revanche les compétences que je cherche à transmettre à mes étudiants, c’est ce qui importe après tout.

Pour en revenir à l’apprentissage des règles de décision dans le cadre de l’analyse prédictive, je présente dans ces slides les différentes méthodes d’élaboration de bases de règles à partir de données. Les méthodes separate-and-conquer, par opposition aux techniques divide-and-conquer c.-à-d. les arbres de décision, y ont la part belle. Je détaille les différentes méthodes top-down aboutissant à  un système prédictif sous la forme d’une liste de décision (decision list en anglais) ou en un ensemble de règles non imbriquées (règles non ordonnées – unordered rules). Pour élargir le débat, je parle également, de manière plus ou moins détaillée des autres approches, moins connues, mais qui ont pourtant mobilisé des énergies à  différentes périodes : les techniques bottom-up, les algorithmes génétiques, les règles d’association prédictives, les règles prédictives floues.

Des tutoriels permettant de pratiquer ces techniques sur des données réelles à l’aide de logiciels librement accessibles sont référencés.

Mots clés : induction de règles, règles prédictives, listes de décision, base de connaissances, CN2, arbres de décision
Composants Tanagra : DECISION LIST, RULE INDUCTION, SPV ASSOC RULE
Lien : Règles de décision prédictives
Données : weather rule induction data
Références :
Tutoriel Tanagra,"Induction de règles prédictives", novembre 2009.
Tutoriel Tanagra, "Induction de règles floues avec Knime", janvier 2010.
J. Furnkranz, "Separate-and-Conquer Rule Learning", Artificial Intelligence Review, 13: 3-54, 1999.