Scal[ia] Amazing IA – éditorial

  • Scal[ia]

    4 mai 2022

Newsletter Scalian

L’histoire de l’IA moderne débuta dans les années 70 lorsque des chercheurs en neuroscience essayèrent de modéliser mathématiquement des groupes de neurones. À travers des calculs itératifs, ils étaient de capables de résoudre des problèmes rudimentaires, mais la puissance de calcul nécessaire pour s’attaquer à des problématiques en haute dimension n’existait pas encore à l’époque.

C’est dans les années 90 que Yann LeCun commence à travailler avec des réseaux de neurones convolutifs afin de classifier des chiffres manuscrits et automatiser la lecture de codes postaux des lettres du service postal américain. Mais la vraie révolution du domaine arriva quand Alex Krizhevsky, le créateur du fameux réseau AlexNet, présenta son modèle lors de la compétition ImageNet en 2012, capable de prédire avec un taux d’erreur de 16% alors que ses compétiteurs peinaient à descendre en dessous de 25%. Et ces performances n’ont fait que s’améliorer ces dernières années, avec des investissements des entreprises à l’échelle globale dans la recherche de l’IA qui sont passés de 12,75 milliards de dollars en 2015 à 67,85 milliards en 2020. 

Ces avancées, en partie impulsées par l’explosion de la puissance de calcul pendant cette dernière décennie, ont permis l’application des techniques basées sur des réseaux de neurones à des domaines jusque-là hors de portée pour l’IA. L’expressivité de ces modèles est telle qu’il est même possible d’imaginer de leur faire apprendre comment placer des composants dans des puces électroniques mieux que des experts humains, réaliser de la prédiction météo de façon précise, générer du code de compétition comparable à ceux des développeurs, et même contrôler la forme du plasma dans des réacteurs de fusion nucléaire. Au premier abord, tout ceci paraît aussi impossible que tout ce qui est montré dans les films de science-fiction des années 80, mais il s’agit de quelques-unes des applications qui ont fait partie des actualités lors de ces derniers 6 mois. 

Néanmoins, malgré ces incroyables preuves de concept, la réalité dans le monde de l’industrie est autre : afin de pouvoir être appliqués dans des systèmes critiques, où une erreur peut coûter des vies, les systèmes doivent suivre des standards de sûreté stricts. Et c’est là que l’IA commence à montrer ses limites : il est connu qu’en rajoutant du bruit soigneusement choisi mais toutefois imperceptible pour l’œil humain, il est possible de radicalement changer les prédictions des réseaux de neurones. Ces standards demandent également une compréhension de comment les décisions sont prises, ce qui n’est juste pas possible d’avoir avec des modèles de boîtes noires aussi complexes que les réseaux de neurones avec les dernières architectures de l’état de l’art. Et dans un monde où l’IA commence à être utilisée dans des applications qui impactent réellement la vie des gens telles que la prédiction de remboursement de prêt bancaire ou encore la récidive criminelle, il devient essentiel de s’assurer que nos modèles n’ont pas appris nos biais sociétaux. 

Par ailleurs, ce que les présentations de ces incroyables exploits oublient régulièrement de préciser, c’est l’immense taille des jeux de données utilisés, le nombre de paramètres des modèles entraînés, et par conséquent, le coût en ressources réelles de tels modèles. Si l’on prend l’un des plus gros modèles jamais entraîné (il comporte 17 milliards de paramètres), au prix du marché cela aurait coûté 12 millions de dollars à entraîner, et ceci ne tient pas compte de la construction du jeu de données et de l’optimisation d’hyperparamètres, tâches qui peuvent s’avérer assez gourmandes en temps et ressources. 

C’est pour toutes ces raisons que l’on peut dire que les prochains défis dans le domaine ne se trouvent pas dans l’amélioration des performances, mais dans la robustesse, la compréhension (explicabilité), la justesse (ou “fairness” en anglais), la qualité des données et la quantification de l’incertitude des modèles. 

Le thème de cette nouvelle édition Scal[ia] est donc double : be amazed avec la puissance de l’IA moderne et démystification des limitations et défis actuels du domaine. 

Articles connexes :  

 

Envie de rester informé(e) ?
Abonnez-vous à la Newsletter Scal[ia]

IA scal[ia]