Dans la plupart des projets de machine learning, la sélection de variables est une étape essentielle pour identifier les variables les plus pertinentes pour le problème en question. Il existe différentes méthodes de sélection, qui peuvent être regroupées en trois catégories : les méthodes filtres, les méthodes wrapper et les méthodes intégrées.
Les variables catégorielles sont couramment présentes dans les jeux de données. Bien que certains modèles, tels que les modèles basés sur les arbres de décision, puissent fonctionner sans prétraitement, d’autres modèles nécessitent une transformation des variables catégorielles. Dans cet article, je vais vous présenter brièvement les méthodes couramment utilisées pour l’encodage des variables catégorielles, ainsi que la mise en pratique de ces méthodes en utilisant le package recipe de Tidymodels.
Durant cette semaine, j’ai décidé de partager une série d’articles de blog avec vous pour vous aider à maîtriser le framework tidymodels. Ce framework est très utile pour la modélisation et le machine learning en utilisant le langage de programmation R. L’ensemble d’outils que tidymodels fournit permet de simplifier les différentes étapes de la modélisation, de la préparation des données jusqu’à l’évaluation des modèles. Il est vrai que ce framework n’est pas aussi complet que scikit-learn en termes de fonctionnalités, mais il est en constante évolution et présente de nombreux avantages.
Si vous voulez faire du Machine Learning avec R, le package caret (Classification And REgression Training) est l’un des packages indispensables que vous devez savoir manipuler. C’est un package qui met à votre disposition plus de 200 algorithmes de Machine Learning ( classification et régression) avec une interface unifiée et simple à utiliser. C’est en quelques sortes l’un des “équivalents” du célèbre scikit-learn de python sur R.
La régression par les moindres carrés partiels (PLS) est très similaire à la régression PCR. Elle permet également de transformer les variables initiales en nouvelles variables non corrélées et que l’on peut classer par ordre d’importance.
Dans les articles précédents ([1] [2]), nous avons présenté les régressions sous contraintes (Ridge, Lasso & Elastic NeT ) comme des remèdes aux problèmes de multicolinéarité et d’un nombre excessif de variables explicatives. Dans cet article nous allons aborder deux autres approches pour résoudre ces problèmes : la régression sur composantes principales (PCR) et la régression des moindres carrés partiels (PLS).
Cet article fait suite à La régression linéaire : Ridge, Lasso et Elastic Net (1/2), article dans lequel on a présenté synthétiquement la régression Ridge, Lasso et Elastic Net.
Dans cet article, nous allons découvrir comment mettre en oeuvre ces régressions sous contraintes avec R.
En pratique, lorsqu’on utilise un modèle de régression linéaire, on est souvent confronté au fait que certaines variables soit fortement corrélées ou que le nombre de variables soient très élevé voir plus grand que le nombre d’observations. Ces constats ont des impacts sur les estimations des paramètres du modèle et on encourt un risque de sur-ajustement.
Dans les deux premières parties des articles consacrés à la sélection de variables avec leaps ( partie 1 et partie 2 ), nous avons utilisé différents indicateurs tels que le AIC, BIC, 
ajusté et le 
de mallows. L’estimation de ces indicateurs a été faite sur toutes les données disponibles.
Nous allons aborder dans cet article le problème de sélection de variable en utilisant une approche de recherche pas à pas. Le principe de l’approche est plutôt simple : on part d’un modèle de départ auquel on ajoute ou retire des variables tout en optimisant le critère choisi.
