dimanche 20 avril 2014

Analyse discriminante et régression linéaire

Bien que s’inscrivant toutes deux dans le cadre de l’analyse prédictive, l’analyse discriminante linéaire et la régression linéaire multiple répondent à des problématiques différentes. La première cherche à prédire une variable cible qualitative nominale à partir d’un ensemble de variables prédictives quantitatives (ou qualitatives recodées en indicatrices numériques). Pour la seconde, la variable cible est quantitative. La finalité, les calculs sous-jacents et le mécanisme inférentiel ne sont pas les mêmes.

Pourtant, de nombreux auteurs indiquent qu’il y a des similarités entre ces deux approches. Mieux même, dans le cas particulier d’une variable cible binaire, il est possible de reproduire à l’identique les sorties de l’analyse discriminante à partir des résultats de la régression.

Dans ce tutoriel, nous décrivons les connexions entre les deux approches dans le cas d’une variable cible binaire. Nous détaillons les formules permettant de retrouver les coefficients de l’analyse discriminante à partir de ceux de la régression linéaire. Il apparaît que, si l’équivalence est totale lorsque les classes sont équilibrées, il est nécessaire d’introduire une correction additionnelle de la constante lorsque les effectifs ne sont pas identiques dans les deux groupes. La formule correspondante est explicitée. Nous réalisons les calculs sous Tanagra (classes équilibrées) et sous R (classes non équilibrées).

Mots clés : analyse discriminante prédictive, analyse discriminante linéaire, régression linéaire multiple, lambda de wilks, distance de mahalanobis, fonction score, classifieur linéaire, sas, proc discrim, proc stepdisc
Composants : LINEAR DISCRIMINANT ANALYSIS, MULTIPLE LINEAR REGRESSION
Lien : fr_Tanagra_LDA_and_Regression.pdf
Données : lda_regression.zip
Références :
C.J. Huberty, S. Olejnik, « Applied MANOVA and Discriminant Analysis »,Wiley, 2006.
R. Tomassone, M. Danzart, J.J. Daudin, J.P. Masson, « Discrimination et Classement », Masson, 1988.