# modèles de régression et classification

## regression linéaire

Déterminer une relation linéaire entre l'évolution de deux variables.
- est-ce que la distance parcourue dans une certaine cathégorie de véhicules routiers ets affectée par le prix de l'essence ?
- est-ce que le niveau de cholesterol est affecté psi un individu suit une diète ? est-ce que d'autres variables entrent e ligne de compte ( age, genre ) ?

### objectifs

- Technique statistique objective pour synthétiser l'information disponiable.
- On cherche un modèle parcimonieux.
- Simplification, on cherche un modèle plus simple pour des performances comparables.

### spécifications

Le choix d'un modèle est guidé par des considération indiquant des relations existantes entre les valeurs

> #### exemple
> Loi de newton dans un système

Souvent, le modèle est inconnu mais nous cherchons à trouver une approximation fiable.

> #### exemple
> Relation entre le revenus par population des pays et leur taux de natalité

### Jeu de données de forbes

Principe : Substituer la lecture d'une grandeur par la lecture d'une autre grandeur et chercher la valeur de la grandeur initiale par proportionnalité.

Démarche : constituer un ensemble de relevés des grandeurs à mettre en relation, puis approximer la relation entre les évolutions dans cet ensemble et estimer l'erreur.

> #### historiquement
> Lire la pression de l'air dans un milieu en y faisant boullir de l'eau, a servi à trouver la relation entre l'haltitude et la pression de l'air.


## Apprentissage suppervisé

Tâche de classification : entrainer un modèle à catégoriser des entrées dans une classe de donnée après un entrainement sur des entrées étiquetées.

### hypothèse

Il existe une fonction f : observation -> étiquette de catégorie
f est inconnue, nous faisons des hypothèses sur sa forme
Nous cherchons les paramètres de la forme de f

### Approche

- Espace d'entré X, espace de sortie Y
- variables aléatoires (x, y) e X × Y, suivant une loie inconnue P
- données D_n = { x_i,y_i } observations de variables respectant P

trouver une fonction f : X -> Y qui décrit Y en fonction de X en minimisant l'erreur théorique

risque R : (f) : E_p[L(X, Y, f)]
avec :
- L(X, Y, f) une fonction de perte, quadratique pour une loi linéaire

> note
> on ne peut pas évaluer R(f) car c'est le risque d'une loi inconnue

Chercher des alternatives à f, minimisant le risque
- f_D_e = arg min

Régularisation : pénaliser la complexité à travers reg(f) ??
- f_D_e = argmin [ R_d_e(f) + reg(f) ]

Minimisation du risque structurel
- séquence F_i, i e N, de modèles à capacité crossante.

### Composantes du risque

- Risque résiduel
	- présent en cas de bruit
	- la relation X -> Y n'est pas une fonctiont déterministe

- Erreur d'approximation
	- présent si le modème n'est pas bien choisi par rapport à la relation réelle

- Erreur d'estimation
	- présent si les relevés sont faites d'une manière imparfaite
	- proportionnelle à la taille et l'amplitude de l'échantillon

- Élargir F
	- Baisse l'erreur d'approximation.
	- Augmente l'erreur d'estimation.

> note
> - le risque empirique doit avoir tendance à augmenter avec la taille de l'échantillon
> - le risque  ??? doit avoir tendance à diminuer
> - idéalement, nous cherchons une convergence entre les deux


### Dimension de vapnik Chervonenkis

avec un échangillon E { x_i } dans R^n
	- il y a 2^n façons de séparer en 2 sous-échantillon (grouper en deux catégories)

- un ensemble F de fonction f classifiant un x dans une de deux cathégories
	- F pulvérise E si elle classifie tous les éléments de E
	- F est dit de VC-dimension si, pour un h donnée
		- F pulvérise un échantillon de       h   vecteurs
		- F ne pulvérise pas d'échantillon de h+1 vecteurs

#### Théorème

la minimisation du risque est cohérente uniquement si la VC-dimension de F est finie.

#### Illustration

dans un plan R^2,

```
 |
 |   o
 |
 |   x    o
-|----------
 |

```

Pour toute catégorisation de trois points, il existe une droite capable de séparer tous les points.
L'ensemble de ces droites pulvérise l'ensemble de 3 points.

```
 |
 |   o    x
 |
 |   x    o
-|----------
 |

```

Il n'existe aucune droite catégorisant les points `o` et les points `x`.
L'ensemble des droites ne pulvérise pas les ensembles de 4 points.

### Ensembles de donnée de l'apprentissage

Bases de donnée pour l'apprentissage
	- éntrées étiquetées.
	- échantillonées de manière représentative.
	- trois bases utiles
		- base d'apprentissabe : utilisé pour optimiser les paramètres du modèle avec certains hyper-paramètres.
		- base de validation :   utilisé pour faire un choix des hyper-paramètres du modèle.
		- base de test :         utilisé pour évaluer la fiabilité du modèle.

### arbre de décision 

Dans un modèle de catégorisation à plusieurs paramètres,
Pour catégoriser une entrée, nous pouvons hiérarchiser les parapètres et prendre des décisions de classification successives
organisées en arbre en fonction d'un seul paramètre à la fois jusqu'à une catégorisation.

```

    [ condition 1 ]
      /         \
    True       False
    /             \
( CAT_1 )   [ condition 2 ]
               /        \
            True       False
             /            \
        ( CAT_2 )      ( CAT_1 )

```

- Un arbre de décision est déterministe.
- Il existe toujours un arbre de décision pour une fonction de catégorisation déterministe.
- Dans le pire des cas, il existe un chemin par donnée entrée.
- Un arbre ne représente pas forcément la relation de manière cohérente.

#### Illustration

Prédiction de l'attente dans un restaurant en fonction des attributs du restaurant

[ voir slide ]

#### Entropie

???

- Anti-proportionnelle à la certitude de la classification
- ' cout qu'il reste pour trouver la classification idéale '

- Dans une classification, nous voulons minimiser l'antropie.

### Mesures de la performance

- précision :            taux de prédiction justes
- matrice de confusion : tableau d'occurences des cas d'erreur
- courbe RDC :           ???

- Rappel :              ???
- score F1 :            ??? (voiture ?)
- Aire sous la courbe : ???


## classes linéairement séparables

Pour un set de donnée d'apprentissage D = { x_i, y_i }
Dans le cas idéal, il existe une droite séparant les points de D en deux catégories que nous souhaitons séparer

Une possibilité : choisir la séparation qui maximise la marge entre la séparation et les premiers points
- plusieurs séparations peuvent être possibles

## Courbes ROC
( Receiver Operating Characteristics )

- Permet d'estimer le résultat d'une classification sur un ensemble de donnée.
- Table de vérité de type :
```
\                   | classe présente | classe absente
--------------------|-----------------|---------------
classe détectée     | Vrai Positif    | Faux Positif
--------------------|-----------------|---------------
classe Non détectée | Faux Négatif    | Vrai Négatif
```

En fonction d'un seuil de décision fixé

- sensitivité
	- = Q Vrai positifs /  Q Positif
	- = Q Vrai Positifs / (Q Vrai Positifs + Q Faux Négatifs)
	- = 'Taux de Vrai Positifs'

- 1 - Spécificité
	- =       Q Faux Positifs /  Q Négatifs
	- =       Q Faux Positifs / (Q Vrai Négatifs + Q Faux Positifs)
	- = 1 - ( Q Vrai Négatifs / (Q Vrai Négatifs + Q Faux Positifs) )
	- = 'Taux de Faux Négatifs'