25/05/2018
Frise historique
Les débuts (1940-)
L'ordinateur apprenant : Alan Turing
- ‘Computing Machinery and Intelligence’ présente le ‘test de Turing’
Le neurone artificiel : W. Pitts and W. McCulloch
- unité logique minimale
- Warren McCulloch et Walter Pitts propose de créer une machine de Turing neuronale
\[y_k = \varphi \left( \sum_{j=0}^m w_{kj} x_j \right)\]
Le perceptron de Frank Rosenblatt (1957)
Frank Rosenblatt's Mark I Perceptron at the Cornell Aeronautical Laboratory, Buffalo, New York, circa 1960
[The perceptron] is the embryo of an electronic computer that [the Navy] expects will be able to walk, talk, see, write, reproduce itself and be conscious of its existence. Rosenblatt
La mort du perceptron (1969)
Dans ''Perceptrons: an introduction to computational geometry'' remarquent qu'un séparateur linéaire ne peut implémenter le XOR… imparable et mortelle remarque. Marvin Minsky et Seymour Papert
Le rétro-propagation du gradient et les réseaux de neurones multi-couches
Le perceptron multicouches
- Geoff Hinton (arrière-arrière-petit-fils de George Bool) termine son doctorat sur les réseaux de neurones en 1978
- En 1986, avec David Rumelhart ils publient un article sur les réseaux de neurones avec de nombreuses couches cachées
Problème d'optimisation complexe
- nombreux paramètres
- critère mal défini
Descente de gradient par rétropropagation
- fonction composée à optimiser
- fonction d'activation de chaque neurone continue et dérivable
- pas fixe
La concurrence des années 90
Les machines à vecteurs de support
- 1963, une idée deVladimir N. Vapnik et Alexey Ya. Chervonenkis
- 1993, le truc du noyau et un problème d'optimisation décrit Boser, Guyon et Vapnik
Renaissance (2006 ?)
Apprentissage profond (Hinton 2006)
- former un simple modèle non supervisé à 2 couches,
- geler tous les paramètres, de coller une nouvelle couche sur le dessus et de former uniquement les paramètres de la nouvelle couche.
Succés en traitement d'image
- Réseau convolutif de Y. Lecun
Deep Learning Hypothesis: The success of deep learning is largely a success of engineering. ??
Les acteurs
