Data Universe
Newsletter
Accueil/Encyclopédie/K-Nearest Neighbors (KNN)
🏘️Machine LearningDébutantApprentissage supervisé

K-Nearest Neighbors (KNN)

Algorithme paresseux qui prédit en cherchant les K exemples les plus proches dans les données d'entraînement et vote à la majorité.

💡Explication simple

Pour savoir si un nouveau point appartient à quelle classe, KNN regarde ses K voisins les plus proches dans les données connues. Si 4 voisins sur 5 sont de classe A, la prédiction est A. C'est littéralement 'dis-moi qui sont tes voisins, je te dirai qui tu es'. Aucun entraînement n'est nécessaire : l'algorithme stocke tout et cherche au moment de la prédiction.

🏗️Exemple concret

Recommandation de films : pour prédire si tu vas aimer un film, on cherche les 10 utilisateurs qui ont les goûts les plus proches des tiens (K=10). Si 8 d'entre eux ont noté ce film 4/5 ou plus, on te le recommande.

∑ Concept clé

Distance euclidienne : d(x, xᵢ) = √(Σ(xⱼ - xᵢⱼ)²). Prédiction : vote majoritaire des K voisins les plus proches.

🎯Quand l'utiliser ?

Petits datasets (< 50K exemples)
Systèmes de recommandation simples
Lorsqu'on veut comprendre l'analogie avec des exemples existants

✅ Avantages

+Aucun entraînement (apprentissage 'paresseux')
+Naturellement multi-classes
+Simple à comprendre et implémenter

⚠️ Limites

Lent à prédire sur grands datasets (calcule toutes les distances)
Sensible aux variables non pertinentes et aux échelles différentes
Mémoire importante (stocke tout le dataset)

🛠️ Outils principaux

Scikit-learn (KNeighborsClassifier)
FAISS (pour les grandes dimensions)
MLSuperviséClassificationRecommandation

Concepts liés

🔭

ACP / PCA (Analyse en Composantes Principales)

Apprentissage non supervisé

🤖

Agent IA — Intelligence artificielle autonome

IA Générative

😊

Analyse de sentiment (NLP)

NLP

🌳

Arbre de décision

Apprentissage supervisé

← Retour à l'encyclopédie