Les transformers passent du langage naturel au développement de code

  • Scal[ia]

    4 May 2022

Suite à l’incroyable succès des réseaux de neurones de type transformer dans le traitement du langage naturel, des chercheurs de chez Deepmind se sont attaqués à la génération de code pour des problèmes initialement proposés dans une compétition de code : Codeforces.

Ils ont pré-entraîné un modèle sur une base de données de code provenant du site GitHub, et ensuite appliqué un « finetuning » sur un jeu de données spécialisé pour la tâche de création de code de compétition. Une fois capables de générer du code dans le bon format, ils peuvent alors créer un ensemble de propositions de solutions pour chaque problème à résoudre, et ne soumettre que les programmes qui semblent être les plus performants. Ceci correspondrait aux étapes de débogage, de compilation et de test d’un processus de développement réalisé par des humains.

En somme, cette approche leur a permis d’atteindre des scores équivalents à un développeur médian, ce qui valide l’intérêt d’utiliser des algorithmes issus du traitement du langage naturel pour la génération de code spécialisé en partant d’une simple description du résultat souhaité.

 

Découvrez l’article de référence :

Competitive programming with AlphaCode
Auteurs : Yujia Li, David Choi, Junyoung Chung, Nate Kushman, Julian Schrittwieser, Rémi Leblond, Tom Eccles, James Keeling, Felix Gimeno, Agustin Dal Lago, Thomas Hubert, Peter Choy, Cyprien de Masson d’Autume et al.
Source : https://deepmind.com/
Parution le : 02/02/2022

 

Voir aussi : 

 

Envie de rester informé(e) ?
Abonnez-vous à la Newsletter Scal[ia]

 

génération de code IA langage naturel transformers