Comprendre le deep learning – 1/3 : Histoire
Comment les agents conversationnels comme Clevy parviennent-ils à comprendre les humains ? Si vous suivez ce blog, vous savez qu’ils reposent sur le NLP, qui traite le langage naturel. Mais si on creuse un peu plus, on s’aperçoit que cette technologie s’appuie elle-même sur une branche de l’intelligence artificielle : le deep learning, ou apprentissage profond.
Dans cette série d’articles, nous allons nous pencher sur cette technique, en commençant par étudier ses origines…
Deep learning, IA et réseaux de neurones
Tout d’abord, il convient de garder à l’esprit que le deep learning constitue un sous-ensemble du machine learning qui s’appuie sur des réseaux de neurones artificiels (avec plusieurs couches). L’histoire de l’apprentissage profond est donc étroitement liée à celle de ces deux autres concepts, que vous pouvez consulter via nos articles précédents : Histoire du machine learning et Histoire des réseaux de neurones.
Ainsi, pour revenir à ses origines, il faut remonter au milieu du XXe siècle. En particulier en 1943, avec l’apparition du modèle du « neurone formel », représentation schématique du fonctionnement du cerveau humain. Ainsi qu’en 1957, avec l’invention du « perceptron », considéré comme le premier réseau de neurones artificiels.
Parallèlement à ces travaux, en 1950, le « test de Turing » voit le jour. Il s’agit d’une épreuve dont le but est de tester la capacité d’une machine à reproduire le comportement humain. Elle marque alors un tournant dans l’histoire de l’intelligence artificielle, dont l’évolution connaîtra pourtant un sérieux ralentissement, jusque dans les années 1980.
Freiné par les limites technologiques
Durant cette décennie, les recherches sur le deep learning affichent des progrès notables. De nouveaux concepts sont mis au point, tels que le perceptron multicouche ou les réseaux de neurones convolutifs, inspirés du système de vision des animaux. Et ce, grâce notamment au travail d’un chercheur français : Yann LeCun. Celui-ci, qui travaille aujourd’hui sur l’intelligence artificielle pour Facebook, est considéré comme l’un des inventeurs du deep learning.
Problème : ces nouveaux réseaux de neurones, qui comportent plusieurs couches, nécessitent une grande puissance de calcul pour être efficaces. De même, pour « entraîner » ces algorithmes, il faut pouvoir accéder à une grande quantité de données… Des obstacles difficiles à franchir à l’époque. Ce qui conduit la communauté scientifique à se détourner de l’apprentissage profond dans les années 1990.
2012 : année charnière
Par la suite, seuls quelques chercheurs continuent de croire en cette technologie. Et son retour en grâce n’interviendra véritablement qu’en 2012. Cette année-là, comme tous les ans depuis 2010, le concours ImageNet Large Scale Visual Recognition Challenge, de l’université de Stanford, met aux prises des équipes de recherche en informatique du monde entier, sur un défi de reconnaissance d’images. Et lors de cette édition, le programme vainqueur pulvérise les records établis jusqu’à présent, en s’appuyant pour la première fois sur le deep learning.
Cette même année, Google dévoile son projet « Google Brain », un programme capable d’analyser des images. D’après la firme, l’ordinateur a alors étudié des millions de captures d’écran de vidéos, sélectionnées aléatoirement et sans information supplémentaire. Et la machine aurait fini par découvrir par elle-même le concept de chat et par savoir détecter la présence d’un tel animal sur les clichés.
Ensuite, tout s’accélère brutalement pour le deep learning, qui devient incontournable en quelques années. Aujourd’hui, tous les grands groupes investissent dans l’apprentissage profond et ses champs d’application ne cessent de se diversifier.La suite dans la deuxième partie, avec un focus sur le fonctionnement du deep learning…
