Cet article fait suite à La régression linéaire : Ridge, Lasso et Elastic Net (1/2), article dans lequel on a présenté synthétiquement la régression Ridge, Lasso et Elastic Net.
Dans cet article, nous allons découvrir comment mettre en oeuvre ces régressions sous contraintes avec R.
En pratique, lorsqu’on utilise un modèle de régression linéaire, on est souvent confronté au fait que certaines variables soit fortement corrélées ou que le nombre de variables soient très élevé voir plus grand que le nombre d’observations. Ces constats ont des impacts sur les estimations des paramètres du modèle et on encourt un risque de sur-ajustement.
Dans les deux premières parties des articles consacrés à la sélection de variables avec leaps ( partie 1 et partie 2 ), nous avons utilisé différents indicateurs tels que le AIC, BIC, 
ajusté et le 
de mallows. L’estimation de ces indicateurs a été faite sur toutes les données disponibles.
Nous allons aborder dans cet article le problème de sélection de variable en utilisant une approche de recherche pas à pas. Le principe de l’approche est plutôt simple : on part d’un modèle de départ auquel on ajoute ou retire des variables tout en optimisant le critère choisi.
Hey ! , me revoilà pour le quatrième article de la série consacrée à la régression linéaire. Nous allons aborder dans cet article le problème de sélection de variables.
La sélection de variables est un sujet très important en Machine Learning. Ils existent énormément d’approches et d’algorithmes pour aborder ce problème mais qui dit “plusieurs algorithmes pour résoudre un problème”, dit qu’il faut faire un choix judicieux de la méthode à utiliser.
Heureux de vous retrouver pour le troisième article de la série consacrée à la régression linéaire. Comme mentionné dans l’article introductif, le modèle linéaire suppose que certaines hypothèses sont satisfaites.
Cet article est le deuxième d’une série de 5 articles sur la régression linéaire. Vous pouvez lire l’article introductif ici. Faire une régression linéaire avec R n’est pas vraiment difficile si on est un peu à l’aise avec le logiciel. Il suffit de faire une petite recherche sur Google “Comment faire une régression sur R”, copier un ou deux codes intéressants qui effectuent la tâche et le tour est joué.
L’utilisation de la validation croisée est quasiment indispensable pour l’évaluation des modèles.
