Ilda Sehitaj est titulaire d’un Master 1 Droit international et Européen et d’un Master 2 Carrières juridiques et numériques internationales. Intéressée par les questions juridiques que pose l’évolution de la place des nouvelles technologies dans la société, elle a fait son stage de fin d’études chez NextINpact, auprès de Marc REES, journaliste spécialisé dans le droit numérique, où elle a travaillé sur les thèmes de l’IA, tels que les fonctions et les utilisations de la reconnaissance faciale dans les espaces publics. Après un stage chez TotalEnergies en tant que juriste en protection des données personnelles et conformité au RGPD, elle a commencé un stage dans le cadre du projet JADE depuis avril 2023. Elle mobilise ses capacités d’analyse et de raisonnement juridique au service du codage et de l’annotation des décisions du Conseil constitutionnel, ainsi que l’exploitation des IA génératives. Passionnée par la justice prédictive, elle envisage de mettre ses compétences et sa motivation au service de la transformation du monde juridique par le biais des nouvelles technologies.
Le lancement de Chat GPT en novembre 2022 a donné un nouveau champ à la course aux nouvelles technologies. Chaque jour voit naître une nouvelle IA générative, certaines font la une des journaux, d’autres se font beaucoup plus discrètes. Le domaine juridique devient l’un des terrains d’exploitation des IA génératives, en faisant des lois et de la jurisprudence leurs principales ressources.
Des entreprises privées spécialisées (Case Law Analytics, Doctrine.fr, Predictice, LexiNexis, Tyr Legal, Supra Legem, Lexbase,…) existent depuis plusieurs années dans l’objectif de fournir aux professionnels du droit, des logiciels, plateformes et algorithmes afin de faciliter les divers aspects du travail juridique. Cependant, les produits et services fournis restent largement destinés à des pratiquants du droit. L’arrivée de ChatGPT semble favoriser l’idée d’un droit plus accessible au grand public.
En effet, depuis quelques mois des IA génératives spécialisées en droit français font leur entrée dans le marché en se présentant au grand public. L’équipe du projet JADE (Justice Algorithmique Des Elections) s’est attelée à les tester afin d’étudier leurs capacités et leurs limites. L’objectif est de découvrir ce que ces IA génératives sont capables de faire ou non dans le domaine juridique.
I. Définitions
L’intelligence artificielle est définie comme la « branche de l’informatique qui vise à représenter des fonctions cognitives humaines comme le raisonnement, la mémorisation, le jugement, la décision et à confier aux ordinateurs une partie de ces facultés que nous considérons comme relevant de l’intelligence »[1] . Toutefois, il semble nécessaire de préciser que cette définition fait débat même au sein des spécialistes du domaine et qu’il n’existe pas de consensus pour moment.
L’Union européenne dans sa proposition de règlement visant à réguler et donner un cadre juridique à l’intelligence artificielle définit le « système d’intelligence artificielle » comme « un logiciel qui est développé au moyen d’une ou plusieurs des techniques et approches énumérées à l’annexe I et qui peut, pour un ensemble donné d’objectifs définis par l’homme, générer des résultats tels que des contenus, des prédictions, des recommandations ou des décisions influençant les environnements avec lesquels il interagit »[2]. Les techniques et les approches visées par le législateur européen sont :
« (a) Approches d’apprentissage automatique, y compris d’apprentissage supervisé, non supervisé et par renforcement, utilisant une grande variété de méthodes, y compris l’apprentissage profond.
(b) Approches fondées sur la logique et les connaissances, y compris la représentation des connaissances, la programmation inductive (logique), les bases de connaissances, les moteurs d’inférence et de déduction, le raisonnement (symbolique) et les systèmes experts.
(c) Approches statistiques, estimation bayésienne, méthodes de recherche et d’optimisation »[3].
Ainsi, une IA peut être définie globalement comme un système complexe basé sur plusieurs techniques et conçue pour réaliser une ou plusieurs tâche(s) dont les humains sont seuls en mesure de les accomplir.
Alors, l’IA générative peut être définie comme une IA qui génère un texte, une image ou du son en fonction de sa conception et programmation. La plus connue des IA génératives est sans doute ChatGPT, basé sur la technologie GPT.
GPT ou ‘’Generative Pre-trained Transformer’’ en anglais est un modèle de langage naturel entraîné sur une vaste base de données afin de prédire le mot suivant dans un contexte donné. L’idée est de compléter de manière plausible une requête en essayant de prévoir les prochains mots. Cela est possible avec le traitement d’une quantité importante de données disponibles sur le web, ainsi que les milliards de paramètres qui nourrissent les algorithmes du modèle.
Donc, il s’agit avant tout d’un fonctionnement statistique et probabiliste en dehors de toute sorte de raisonnement humain, ou juridique pour ce qui concerne les IA spécifiques au droit.
II. La méthodologie et le choix des IA testées
Notre travail d’exploitation des IA génératives consiste principalement à poser des questions de droit électoral aux différents agents conversationnels sélectionnés en amont. Les mêmes questions sont posées à chacune des IA et recensées avec les réponses obtenues dans un fichier Excel afin d’avoir une vue d’ensemble des réponses. Ensuite vient l’analyse de la pertinence des réponses données par chacune des IA dans l’objectif d’en tirer des conclusions sur les contours de ces produits mis à disposition des spécialistes et aussi du grand public.
Outre les IA génératives spécialisées dans le droit français, le choix d’inclure ChatGPT et Microsoft Bing dans l’échantillon des IA génératives s’explique par le fait que les IA spécialisées en droit français utilisent la technologie GPT 3.5 d’OpenAI, et que MicrosoftBing via un partenariat avec OpenAI utilise d’ores et déjà la version GPT 4[4] qui permet de faire des recherches sur internet en temps réel. Ainsi, l’idée est de comparer la performance des GPT 3.5 et 4 avec ses variantes appliquées au droit français. Il faut noter ici qu’il n’a encore été possible de tester directement Chat GPT 4, faute que celui-ci soit mis à disposition facilement par l’Université Grenoble Alpes (et nous espérons que ce sera prochainement le cas).
Les requêtes prennent en compte l’écart non négligeable entre Microsoft Bing et ChatGPT et les IA conçues par les entrepreneurs français. En effet, la capacité conversationnelle de ChatGPT n’est pas du tout comparable aux autres IA génératives qui fonctionnent plutôt sur un système de questions-réponses. Ainsi, nous avons privilégié les questions plutôt courtes et directes.
En outre, il convient d’indiquer que notre analyse se limite au droit des élections politiques avec un corpus de questions limitées.
III. La présentation des IA génératives faisant l’objet de l’analyse :
ChatGPT : Il s’agit d’un agent conversationnel développé par Open AI et lancé en novembre 2022. C’est un mode de langage naturel entraîné à répondre aux questions posées ou à tenir une conversation semblable à celle entre les êtres humains. ChatGPT étant entraîné avec des données antérieures à septembre 2021, ses réponses n’incluent pas les changements et les évolutions postérieures à cette date. L’outil est gratuit, mais il faut créer un compte pour pouvoir l’utiliser.
MicrosoftBing : Bien qu’essentiellement un moteur de recherche, Microsoft Bing propose maintenant une fonction similaire à celle de ChatGPT avec un agent conversationnel. L’idée est de répondre aux questions posées comme le fait ChatGPT, mais avec une différence considérable. En effet, il fait des recherches sur le web en temps réel et cite des sources ce qui s’explique par l’intégration de GPT4. L’agent conversationnel est en accès libre sur le navigateur Microsoft Edge, il n’est donc pas nécessaire de créer un compte.
The Donna : Cet outil est basé sur la technologie de GPT, mais entraîné sur les sources juridiques officielles notamment les codes tels que le Code civil, le Code du commerce, le Code de procédure civile et le site service public.fr. Il est encore en version bêta et se retrouve quotidiennement mis à jour par ses concepteurs Maxime Michel et Zacharie Laïk. Ce modèle utilise également la technologie GPT 3.5, cependant une version incluant GPT 4 est en cours de développement[5]. Pour l’utiliser, il est nécessaire de créer un compte.
LegiGPT[6] : Il s’agit d’une IA générative, lancée par un ingénieur, qui promet de pouvoir répondre aux questions en droit français. Comme les autres IA, LegiGPT utilise GPT. La prochaine version LegiGPT+, qui va intégrer le GPT 4, est déjà encours de développement. La version actuelle est en accès libre sans création de compte, cependant pour LegiGPT+ il faut s’inscrire sur une liste d’attente.
JuriBot/Aria[7] : Une IA développée par Place du droit SAS (https://www.placedudroit.com/) . Il s’agit également d’un modèle de langage naturel comme celle de ChatGPT, mais entraîné principalement avec des textes juridiques dans l’objectif de rendre le droit plus accessible au grand public. L’outil est pour l’instant gratuit, cependant il faut créer un compte afin de pouvoir poser des questions juridiques. Initialement appelée Juribot, cette IA a dû changer de nom au cours de la route pour devenir Aria. Ce changement est dû au dépôt de la marque Juribot par la société Aïkan pour une IA similaire. L’IA testé dans le cadre de notre étude est bien Aria et non Juribot apparu juste après notre analyse.
Ordalie : Une IA spécialisée dans le droit français lancé par un couple de juristes et de développeurs, respectivement Léa Fleury et Baudouin Arbarétier. L’outil est pour l’instant en accès libre nécessitant tout de même une création de compte, cependant il reste limité à 30 questions par mois.
Il semble que ces outils spécialisés en droit se distinguent des outils des entreprises de legaltech qui sont destinés principalement aux professionnels du droit. En effet, les concepteurs de LegiGPT et Ordalie expriment une volonté de démocratisation de l’information juridique, bien qu’ils n’excluent pas d’ajouter également des versions payantes.[9] Il faut noter pour terminer qu’au moment de la rédaction de cet article, Assistant de Prédictice n’a pas encore été testé mais que la demande de pouvoir le faire a été faite auprès de l’entreprise.
Pour conclure il faut noter que ces IA génératives sont en évolution constante. Par exemple, au début de nos travaux la question qu’on pouvait poser à Aria était limité à 200 caractères et une semaine après elle est passée à 500 caractères. Certes, cela ne se compare pas à Chatgpt qui est à environ 2000 ou encore Bing à 4000 caractères. Quant à The Donna, elle a multiplié les domaines juridiques pour lesquels elle s’estime en mesure de répondre en passant de sept rubriques (service public.fr, Code civil, Code de commerce etc.) à seize en quelques semaines. C’est donc presque en temps réel qu’il faut tester les méthodes/
Dans le prochain article, nous ferons le point sur les capacités qu’on eu ou non les IA génératives à répondre à quelques questions posés dans le cadre du projet JADE.
Ilda Sehitaj
[1] D. Bourcier, « De l’intelligence artificielle à la personne virtuelle : émergence d’une entité juridique ? », Droit et société, N°49, 2001, p. 847-871.
[2] Proposition de Règlement du Parlement européen et du Conseil établissant des règles harmonisées concernant l’intelligence artificielle (législation sur l’intelligence artificielle) et modifiant certains actes législatifs de l’union, l’article 3, page 45.
[3] Annexe I de la Proposition de Règlement sur l’intelligence artificielle, page 1.
[4] https://play.google.com/store/apps/details?id=com.microsoft.bing&hl=fr&pli=1
[5] https://www.linkedin.com/posts/zacharie-la%C3%AFk-09535aab_donna-sest-%C3%A9quip%C3%A9e-de-gpt4-vous-voulez-activity-7069971955130454016-5pcq/?utm_source=share&utm_medium=member_desktop
[6] https://www.leptidigital.fr/intelligence-artificielle-ia/legigpt-40667/
[7] https://www.aria.placedudroit.com/aria
[9] https://www.01net.com/actualites/chatgpt-legigpt-et-ordalie-tech-ces-deux-chatbots-100-francais-vous-aident-a-connaitre-vos-droits.html