Un nouveau jour, un nouvel article sur ChatGPT. Il est clair que le programme d’IA attise les passions et que les possibilités semblent infinies. Le programme réussit un examen important du master en gestion mais cale à l’examen du barreau. Dans les deux cas, les chercheurs ont des conclusions assez positives.
Après l’examen de médecine, ChatGPT passe avec succès le MBA mais cale en droit
Pourquoi est-ce important ?
La montée en puissance de ChatGPT fait, pour certaines personnes, craindre pour l'emploi. Des avertissements ont été lancés concernant les emplois de rédacteurs, de journalistes et de programmeurs, mais aujourd'hui, ChatGPT passe aussi haut la main des examens difficiles en économie et en médecine, et devrait, à termer, passer ceux en droit.Dans l’actualité : le robot d’intelligence artificielle ChatGPT réussit un examen final du Master of Business Administration (MBA). Le programme semble également résoudre sans problème les tests de médecine (écrivions-nous la semaine dernière).
- « Le robot a obtenu une note entre B et B- (à l’examen d’un cours principal du MBA, ndlr) », explique le professeur Christian Terwiesch de la prestigieuse Wharton School (Univesité de Pennsylvanie) concernant son étude. C’est-à-dire un score compris entre 80 et 85%.
- ChatGPT, selon le professeur, a fait preuve d’une compétence exceptionnelle dans l’exécution de tâches de travailleurs hautement qualifiés tels que les analystes, les managers et les consultants.
Nul en maths
Les détails : loin d’être parfait.
- Dans des études de cas spécifiques, le bot s’est également révélé compétent pour résoudre des problèmes comme des opérations managériales de base. Selon Terwiesch, l’explication de ChatGPT était « excellente » et il était « étonnamment capable de modifier sa réponse en fonction des indications humaines », là où on lui indiquait qu’il s’était trompé. Et il s’est en effet trompé à plusieurs reprises :
- Raté : en mathématiques, il botte en touche. « ChatGPT fait parfois des erreurs surprenantes dans des calculs relativement simples, du niveau de la sixième année de primaire. Ces erreurs peuvent être d’une ampleur considérable », note le professeur. De nombreux témoignages sur les manières de calcul du bot qui circulent sur les réseaux sociaux vont dans le même sens.
- Autre bémol : « la version actuelle du Chat GPT n’est pas capable de traiter des questions d’analyse de processus plus avancées, même lorsqu’elles sont basées sur des modèles assez standard. Cela inclut les flux de processus avec des produits multiples et les problèmes avec des effets stochastiques tels que la variabilité de la demande », dévoile le professeur.
- ChatGPT, d’ailleurs, est capable d’éviter de commettre un plagiat. Le programme est suffisamment intelligent pour paraphraser de lui-même.
A l’avenir : une réflexion importante à avoir pour le monde de l’enseignement.
- « Cela a des implications importantes pour l’enseignement des écoles de commerce, notamment la nécessité de mettre en place des politiques d’examen, la conception de programmes d’études axés sur la collaboration entre l’homme et l’IA, les possibilités de simuler des processus de prise de décision dans le monde réel, la nécessité d’enseigner la résolution créative de problèmes, l’amélioration de la productivité de l’enseignement, etc », réfléchit Terwiesch.
À peine la moyenne en droit
Ailleurs : En droit, ce n’est pas la panacée.
- Des juristes de Stanford se sont aussi prêtés à l’exercice, et ont fait passer une partie de l’examen du barreau à ChatGPT (MBE, pour Multistate Bar Examination). Il s’agit d’un questionnaire à choix multiple (avec une bonne réponse sur quatre). Le bot a obtenu 50,3% de bonnes réponses. Soit mieux que le taux de supposition (la probabilité de bonne réponse si on coche au pif, si on veut), qui est de 25%.
- L’examen est composé de sept sujets. L’IA n’a obtenu le seuil nécessaire pour réussir que dans deux de ces parties : dans les délits et dans les preuves.
- Les experts le savent, c’est un examen très difficile : « Pour pouvoir se présenter à l’examen, la plupart des juridictions exigent que le candidat ait suivi au moins sept ans d’études supérieurs, dont trois ans dans une faculté de droit agréée. En outre, la plupart des candidats à l’examen doivent suivre des semaines, voire des mois, de préparation supplémentaire à l’examen. Malgré cet investissement considérable en temps et en capital, environ un candidat sur cinq obtient un résultat inférieur au taux requis pour réussir l’examen au premier essai. »
- Au final, ils jugent le test plutôt concluant. C’est surtout grâce à « l’optimisation des hyperparamètres et l’ingénierie rapide » qu’un impact positif a pu être constaté. Comme pour le master en business, lorsqu’on dit à GPT qu’il s’est trompé, il améliore sa réponse. Son deuxième choix était correct à 71% des reprises. Son troisième choix même à 88%.
- « Nous pensons que ces résultats suggèrent fortement qu’une LLM (language learning machine, NDLR) réussira la composante MBE de l’examen du barreau dans un avenir proche », concluent les experts.