Dans le cadre du projet JADE, les essais d’intelligence artificielle (il existe de nombreuses techniques sur lesquelles nous reviendrons pas ici) portent d’abord sur le sous-échantillon des décisions électorales rendues par le Conseil constitutionnel sur le fondement de l’article 38 al. 2 de l’ordonnance de 1958 portant loi organique sur le Conseil constitutionnel, c’est à dire les décisions rendues sans instruction préalable contradictoire. Ilda Sehitaj a testé les IA génératives pour savoir si celles-ci peuvent être utilisables sur cette question précise. Les résultats sont à ce stade contrastés et montrent d’importantes différences entre les différents outils, mais ces technologies étant très évolutives, il faut continuer à les suivre de près.

Le test des différents IA génératives précitées révèle des résultats contrastés, que l’on peut articuler autour de différentes problématiques.

Répondre à une question juridique

Bien que les IA génératives soient toutes conçues pour répondre à une requête juridique ou pas, la pertinence de la réponse et l’exactitude des éléments de réponse font défaut à ce stade.

Par exemple, à la question de savoir « quelles sont les conditions d’utilisation de l’article 38, alinéa 2 de l’ordonnance n°58-1067 du 7 novembre 1958 portant loi organique sur le Conseil constitutionnel », aucune des IA testées n’a pu donner une réponse exacte.

Voici quelques extraits des réponses données par les différentes IA génératives :

ChatGPT : « L’article 38, alinéa 2 de l’ordonnance n°58-1067 du 7 novembre 1958, portant loi organique sur le Conseil constitutionnel, concerne les conditions d’utilisation de la procédure accélérée devant le Conseil constitutionnel pour l’examen de certaines lois ».

MicrosoftBing : « Selon le deuxième alinéa de l’article 38 de l’ordonnance du 7 novembre 1958 portant loi organique sur le Conseil constitutionnel, « le Conseil, sans instruction contradictoire préalable, peut rejeter, par décision motivée, les requêtes irrecevables ou ne contenant que des griefs qui manifestement ne peuvent avoir une influence sur les résultats de l’élection[1].

The Donna : « L’article 38 alinéa 2 de l’ordonnance n°58-1067 du 7 novembre 1958 portant loi organique sur le Conseil constitutionnel dispose que « le Gouvernement peut, pour l’exécution de son programme, demander au Parlement l’autorisation de prendre par ordonnances, pendant un délai limité, des mesures qui sont normalement du domaine de la loi » ».

LegiGPT : « Tout d’abord, il faut savoir que l’article 38 alinéa 2 de l’ordonnance n°58-1067 du 7 novembre 1958 portant loi organique sur le Conseil constitutionnel permet au gouvernement de demander au Conseil constitutionnel de se prononcer sur la conformité à la Constitution d’un projet de loi avant son dépôt devant le Parlement ».

Juribit/Aria : « Selon cet article, le Premier ministre peut saisir le Conseil constitutionnel pour examiner la conformité des projets de loi avec la Constitution, avant leur adoption par le Parlement ».

Ordalie : « L’article 38 alinéa 2 de l’ordonnance n°58-1067 du 7 novembre 1958 portant loi organique sur le Conseil constitutionnel concerne les conditions d’utilisation de cet article. Cet article dispose que dans les cas prévus à l’article 37 alinéa 2 de la Constitution, le Conseil constitutionnel est saisi par le Premier ministre ».

Les IA confondent soit le rôle du juge électoral avec le rôle du juge de la constitutionnalité des lois, soit l’article 28 alinéa 2 de l’ordonnance du 7 novembre 1958 avec l’article 37 alinéa 2 de la Constitution. Seul Microsoft Bing se distingue des autres IA par sa réponse. Cependant, il ne répond pas vraiment à la question, mais vise expressément l’article 38 alinéa 2. Cela s’explique par le fait que Microsoft Bing grâce à la version 4 de GPT peut faire des recherches sur internet, ce qui semble très utile notamment quand les données d’entraînement sont insuffisantes pour construire une suite de mots plausible.

Citation des sources

Certaines IA citent leurs sources, ce qui de prime abord semble jouer en faveur de la fiabilité de la réponse. La capacité de citation des sources ajoute une qualité non négligeable à une IA générative en permettant à l’utilisateur de vérifier l’origine des informations et donc d’en évaluer l’exactitude. Toutefois, la convenance ou pas des sources /liens proposés a également un impact considérable dans l’utilité de la citation des sources. D’autant plus que tous les utilisateurs ne sont pas égaux face à une telle difficulté. En effet, un utilisateur expert du sujet saura faire le tri des sources à consulter ou pas et l’importance de chaque source pour la réponse voulue. Or, l’utilisateur non expert se trouve face à un choix entre la confiance totale en la réponse donnée par l’IA qui cite ses sources ou la consultation de différentes sources sans pour autant être sûr d’arriver à une conclusion satisfaisante.

Alors, pour la réponse à la question précédente, les sources de Microsoft Bing sont principalement les décisions du Conseil constitutionnel où l’article 38 alinéa 2 est utilisé et expressément cité pour rejeter une requête sans instruction contradictoire, ce qui explique que la réponse soit la citation de cet article.

Par ailleurs, Microsoft Bing propose d’autres sources pour en savoir plus. Or, les liens cités ne sont pas vraiment tous pertinents pour répondre à la question posée. En effet, Bing propose aussi d’aller consulter les décisions du Conseil constitutionnel où il n’y a pas d’usage de l’article 38 alinéa 2[2] ou encore un article des Cahiers du Conseil Constitutionnel[3] concernant l’article 38 de la Constitution donc sans lien avec le contentieux électoral.

The Donna cite également ses sources ou plutôt est censé citer ses sources. En effet, cet outil indique plusieurs liens en tant que sources utilisées. Or, quand on clique sur les liens, nous atterrissons sur la page de Legifrance laquelle indique que « Pas de contenu disponible à cette date ». L’outil étant encore en version bêta, il est difficile de savoir si cette difficulté d’afficher des sources est-elle intrinsèque aux algorithmes utilisés ou pas. Cependant, les utilisateurs sont invités à faire part de leur retour afin d’améliorer le fonctionnement de l’outil.

Ordalie cite des articles de code, de la jurisprudence sous l’angle « autres sources ». Il semble que la réponse d’Ordalie ne provient pas vraiment de ces sources, mais qu’elle les indique pour aller plus loin et/ou approfondir la réponse donnée. La spécificité d’Ordalie est qu’elle ne renvoie pas vers un lien web. En fait, si on clique sur le cadre indiquant la source, une fenêtre s’ouvre avec l’intégralité de l’article ou de la jurisprudence en question. Ce qui semble assez pratique pour gagner du temps dans la vérification de la réponse à condition que les articles et la jurisprudence proposés soient exacts et concordants avec la question posée. Or cela n’est pas vraiment le cas puisque Ordalie nous propose des articles du code électoral ou une jurisprudence de la Cour de cassation qui n’a pas vraiment un intérêt pour la question posée. Ainsi, dans ces conditions, la citation des sources perd complètement son sens et ne devient qu’une source de complexité pour l’utilisateur.

Citations des articles de code dans la réponse

Contrairement à ChatGPT et Microsoft Bing, toutes les autres IA spécialisées en droit français citent les articles juridiques issus de différents textes juridiques tels que les codes ou la Constitution. Ainsi, aux questions posées dans le droit électoral, les IA ont cité tantôt le code électoral, tantôt la Constitution, tantôt le code de la justice administrative. Cette possibilité de citer un article précis, en allant au-delà de la citation des sources, permet à la fois de justifier la réponse donnée (en cas de question nécessitant un raisonnement juridique de type syllogisme complet) et à la fois de vérifier l’exactitude de l’information juridique avancée.

Cependant, la fiabilité sur l’existence réelle, le contenu et la validité de l’article cité fait défaut à ce stade pour l’ensemble des IA. En effet, la plupart du temps l’article cité n’est ni pertinent, ni exact pour répondre à la question juridique, dans le sens où l’article mentionné par l’IA ne dit pas ce que l’IA lui fait dire.

Voici les extraits de réponses des IA génératives pour la question de savoir « Devant quelle juridiction peut-on contester les résultats d’une élection législative ».

ChatGPT : « En France, les résultats d’une élection législative peuvent être contestés devant le juge administratif. La juridiction compétente est le Conseil d’État, qui agit en tant que juge de l’élection ».

MicrosoftBing : « L’élection d’un député peut être contestée devant le **Conseil constitutionnel** par tout électeur de la circonscription intéressée ou par toute personne qui y a fait acte de candidature[4] ».

The Donna : « En France, les résultats d’une élection législative peuvent être contestés devant le Conseil constitutionnel. Selon l’article 33 de la Constitution française, le Conseil constitutionnel est compétent pour statuer sur la régularité de l’élection des députés et pour proclamer les résultats de l’élection ».

LegiGPT : « pour contester les résultats d’une élection législative, il faut se référer à l’article L566 du Code électoral qui dispose que « Le résultat de la consultation peut être contesté devant le Conseil d’État par tout électeur admis à participer au scrutin et, si les conditions et formes légalement prescrites ne sont pas respectées, par le représentant de l’État ».

JuriBot : « Selon l’article L. 118-1 du Code électoral, les contestations des élections législatives doivent être portées devant le Conseil constitutionnel dans un délai de dix jours à compter de la proclamation des résultats ».

Ordalie : « Tout d’abord, si la contestation porte sur les opérations préliminaires aux élections parlementaires, telles que la composition des listes électorales, la désignation des candidats ou les opérations de vote, le contentieux relève de la compétence du tribunal administratif dans le ressort du département où l’élection a lieu. Cela est prévu par l’article R312-9 du Code de justice administrative… En ce qui concerne l’élection à l’Assemblée des Français de l’étranger, l’article 9 de la loi n° 82-471 du 7 juin 1982 dispose que le contentieux de cette élection relève de la compétence du Conseil d’État ».

Microsoft Bing et ChatGPT ne citent pas d’article de Code, mais il y a une différence entre les deux puisque Microsoft Bing est la seule IA à donner une réponse entièrement correcte or ChatGPT a une réponse totalement incorrecte comme celle de LegiGPT.

The Donna et Juribot indiquent bien que la contestation de l’élection d’un député relève de la compétence du Conseil constitutionnel, en revanche les articles mentionnés pour fonder les réponses sont inadéquats. En effet ni l’article 33 de la Constitution, ni l’article L.118-1 du Code électoral ne concernent la compétence du Conseil constitutionnel dans le contentieux électoral, donc les IA leur font dire ce que ces articles ne disent même pas de loin.

La difficulté à citer le bon article se confirme aussi chez Ordalie puisque la référence à l’article R312-9 du Code de la justice administrative est correcte, mais l’article 9 de la loi n° 82-471 du 7 juin 1982 est abrogé par la loi n° 2013-659 du 22 juillet 2013. Le constat est le même pour les exemples de jurisprudences données par ces outils, ainsi ils sont capables d’inventer une décision de justice qui n’existe pas.

Explication d’un texte juridique

Les IA génératives sont également plus ou moins en mesure d’expliquer et de résumer un texte juridique. Toutefois cette capacité d’explication a plusieurs limites. Dans un premier temps, il a été demandé aux IA d’expliquer la décision n° 2012-4560 AN du 13 juillet 2012 du Conseil constitutionnel en donnant uniquement le numéro de la décision. Voici les extraits des réponses :

ChatGPT : « Je m’excuse, mais la décision n°2012-4560 AN du 13 juillet 2012 du Conseil constitutionnel n’existe pas dans ma base de connaissances, qui a été mise à jour pour la dernière fois en septembre 2021. Cependant, je peux vous donner des informations générales sur le Conseil constitutionnel français et sur son rôle dans l’interprétation et la protection de la Constitution française ».

Microsoft Bing : « La décision n°2012-4560 AN du 13 juillet 2012 du Conseil constitutionnel concerne une requête présentée par M. Laurent FEUTRY, demeurant à Le Portel-Plage (Pas-de-Calais), enregistrée le 20 juin 2012 au secrétariat général du Conseil constitutionnel et tendant à l’annulation des opérations électorales auxquelles il a été procédé le 10 juin 2012, dans la 5ème circonscription de ce département pour la désignation d’un député à l’Assemblée nationale[5].

M. FEUTRY a soulevé plusieurs griefs dans sa requête. Il a soutenu qu’une « vaste campagne de promotion de M. Fréderic CUVILLIER » a été organisée sur l’ensemble du territoire de la 5ème circonscription au moyen d’une exposition financée par la communauté d’agglomération du Boulonnais et la mairie de Boulogne-sur-Mer. Cependant, il n’a pas justifié que l’organisation de cette exposition a revêtu le caractère d’une campagne de promotion d’un candidat.

Il a également dénoncé « une succession d’inaugurations concentrées sur la période de campagne, de manière anormale et promotionnelle », mais ces allégations ne sont assorties d’aucune justification.

Enfin, il a dénoncé une campagne de diffamation dont il aurait été victime ainsi que des dégradations des panneaux électoraux. Cependant, ces faits, à les supposer établis, sont, eu égard à l’écart des voix, insusceptibles d’avoir exercé une influence sur l’issue du scrutin.

Le Conseil constitutionnel a rejeté la requête de M. FEUTRY »

The donna : « Je suis désolée, mais je ne dispose pas du contexte nécessaire pour répondre à cette question. Pourriez-vous me donner plus de détails sur le sujet de cette décision ou sur le contexte dans lequel elle a été rendue ? Cela me permettrait de mieux comprendre la question et de vous fournir une réponse précise. »

LegiGPT : « La décision n°2012-4560 AN du 13 juillet 2012 du Conseil constitutionnel concerne une loi qui a été soumise à son contrôle de constitutionnalité. Pour comprendre cette décision, il est important de connaître le contexte et les éléments clés de l’affaire… ».

Juribot : « La décision n°2012-4560 AN du 13 juillet 2012 du Conseil constitutionnel concerne l’invalidation de la loi relative au financement de la campagne électorale. Cette décision a été prise à la suite d’une question prioritaire de constitutionnalité (QPC) posée par le Conseil d’État… ».

Ordalie : « La décision du Conseil constitutionnel n° 2012-4560 AN du 13 juillet 2012 concerne la conformité à la Constitution de la loi organique relative à l’application de l’article 61-1 de la Constitution … ».

En fait, seul Microsoft Bing a été capable de produire un résumé de la décision en question. The Donna indique clairement qu’elle n’est pas en mesure de répondre, toutes les autres IA donnent des explications inexactes, comme s’il s’agissait d’une décision de conformité de la loi à la Constitution soit par contrôle à priori soit par une QPC.

Ensuite, il a été demandé aux IA d’expliquer une autre décision du Conseil constitutionnel en leur donnant simplement l’URL (https://www.conseil-constitutionnel.fr/decision/2012/20124631an.htm) de la décision. Voici les extraits des réponses :

ChatGPT : « Je m’excuse, mais en tant que modèle de langage textuel, je ne suis pas en mesure d’accéder directement à des liens externes ou de naviguer sur Internet. Je ne peux pas consulter la décision spécifique que vous mentionnez à l’adresse URL donnée ».

Microsoft Bing : Au début, indique qu’elle ne trouve pas de résultats pour cette décision. Ensuite, on rafraichie la page en cliquant sur « nouvelle rubrique » et pose à nouveau la même question et elle répond que « La décision n° 2012-248 QPC du 16 mai 2012 concerne une question prioritaire de constitutionnalité posée par M. Mathieu E. relative à la conformité aux droits et libertés que la Constitution garantit des articles L. 147-6 et L. 222-6 du code de l’action sociale et des familles¹. Souhaitez-vous en savoir plus sur cette décision ? ».

The Donna : « La décision que vous avez mentionnée concerne une question prioritaire de constitutionnalité (QPC) soulevée par M. X, qui contestait la conformité de l’article L. 213-6 du code de l’organisation judiciaire à la Constitution… ».

LegiGPT : « La décision que vous mentionnez est un lien vers le site web du Conseil constitutionnel français. Malheureusement, en tant que chatbot, je ne peux pas accéder directement à des liens externes et consulter des documents en temps réel… ».

Juribot : « La décision consultable sur le lien fourni concerne le rejet d’une question prioritaire de constitutionnalité (QPC) relative à l’article L. 6111-5 du code de la santé publique qui permet l’installation d’un laboratoire de biologie médicale pour 100 000 habitants ».

Ordalie : « Je suis désolé, mais je ne peux pas accéder à des liens externes. Cependant, si vous pouvez me donner le texte de la décision ou me poser une question spécifique à ce sujet, je serai heureux de vous aider ».

Ainsi, il semble que The Donna, Microsoft Bing et Juribot ont accès aux adresses URL bien que les explications données soient fausses. Le fait que toutes les trois expliquent qu’il s’agit d’une décision de QPC reste significatif du point de vue de l’ampleur des décisions des QPC et du rôle du juge de constitutionnalité des lois du Conseil constitutionnel dans la base de données des IA.

En revanche ChatGPT, LegiGPT et Ordalie indiquent clairement qu’elles n’ont pas accès au lien donné et que par conséquences elles ne peuvent pas donner de suite à la requête.

En outre, pour faire expliquer aux IA une décision de justice, nous pouvons leur donner la décision ou des extraits d’une décision. Toutefois, vu le nombre limité de caractère pour soumettre une requête, il ne semble pas évident de faire expliquer une décision de justice par les IA spécialisées en droit français. C’est la raison pour laquelle il a été décidé de leur demander d’expliquer l’article 38 alinéa 2 de l’ordonnance de 1958.

Voici les extraits des réponses :

ChatGPT : « Selon cet article, le Conseil constitutionnel a le pouvoir de rejeter certaines requêtes sans procéder à une instruction contradictoire préalable. Cela signifie que dans certains cas, le Conseil peut décider de ne pas examiner en détail une requête et de la rejeter directement.

Les types de requêtes qui peuvent être rejetées de cette manière sont les suivantes :

1.Les requêtes irrecevables : Il peut s’agir de requêtes qui ne respectent pas les règles de procédure établies par la loi. Par exemple, si une requête n’est pas déposée dans les délais prévus par la loi, elle peut être considérée comme irrecevable.

2.Les requêtes ne contenant que des griefs qui manifestement ne peuvent avoir une influence sur les résultats de l’élection : Cela fait référence aux requêtes qui ne présentent pas de motifs valables susceptibles d’affecter les résultats de l’élection. Par exemple, si une requête est basée sur des arguments insignifiants ou sans fondement sérieux, le Conseil peut la rejeter… ».

Microsoft Bing : « Cet article signifie que le Conseil constitutionnel peut rejeter les requêtes qui ne sont pas recevables ou qui ne contiennent que des griefs qui ne peuvent pas avoir d’impact sur les résultats de l’élection. Le Conseil peut prendre cette décision sans avoir à mener une instruction contradictoire préalable et doit motiver sa décision de rejet. La décision est ensuite immédiatement notifiée à l’Assemblée concernée ».

The Donna : « Cet article concerne les requêtes qui sont adressées au Conseil constitutionnel en matière électorale. Il prévoit que le Conseil peut rejeter certaines requêtes sans instruction contradictoire préalable, c’est-à-dire sans avoir à entendre les parties en présence, si ces requêtes sont irrecevables ou si les griefs qu’elles contiennent ne peuvent manifestement pas avoir une influence sur les résultats de l’élection… »

LegiGPT : « …Cet article précise que le Conseil constitutionnel a la possibilité de rejeter certaines requêtes sans procéder à une instruction contradictoire préalable. L’instruction contradictoire est une procédure dans laquelle les parties sont entendues et peuvent présenter leurs arguments. Cependant, dans certains cas spécifiques, le Conseil constitutionnel peut décider de rejeter ces requêtes sans cette procédure… ».

Juribot : « …Cet article autorise le Conseil constitutionnel à rejeter les requêtes qui sont irrecevables ou qui ne contiennent que des griefs qui manifestement ne peuvent avoir une influence sur les résultats de l’élection. Cette décision doit être motivée et notifiée immédiatement à l’Assemblée concernée… ».

Il semble que les IA sont beaucoup plus performantes pour expliquer un texte juridique si on leur cite expressément le texte que si, on fournit uniquement la référence tel que le numéro de l’article, le numéro ou l’adresse URL d’une décision de justice. En effet, pratiquement aucune parmi les IA n’a répondu de façon correcte à la question de savoir quelles sont les conditions d’utilisation de l’article 38 alinéa 2. Or, si on leur demande d’expliquer cet article en le citant expressément, certaines réponses vont au-delà d’une simple reformulation du texte initial.

Ainsi, The Donna nous précise que « Il convient de noter que cette procédure simplifiée de rejet des requêtes ne s’applique qu’aux cas les plus évidents et que le Conseil constitutionnel peut toujours décider de mener une instruction contradictoire si cela est nécessaire pour statuer sur une requête ». Cela n’est pas valable pour toutes les IA comme la réponse de Microsoft Bing laquelle n’est qu’une brève reformulation de l’article 38 alinéa 2 sans plus de détails.

En revanche pour cette question, nous n’avons pas pu avoir une réponse d’Ordalie car la question dépasse la limite de 170 caractères qui est la limite pour soumettre une requête à cette IA.

Conclusion

Il est évident qu’à ce stade la performance des IA génératives en droit reste largement limitée. Il semble que cela découle notamment des limites des modèles de langages naturels. En effet, un outil qui fonctionne principalement sur une approche probabiliste etstatistique avec un risque majeur d’hallucinations ne semble pas compatible avec le monde du droit qui fonctionne bien sur un raisonnement logique, le syllogisme juridique.

Ainsi, la rigueur et la précision sont les deux qualités indispensables à un outil juridique. Une IA générative qui n’est pas en mesure de citer les bonnes sources et les articles pertinents pour répondre à une question juridique n’aurait d’utilité ni pour les professionnels du droit ni pour le grand public.

En effet, les professionnels du droit tentés par les facilités que peuvent offrir ces outils peuvent engager leur responsabilité s’ils ne vérifient pas les informations données par l’IA. C’est exactement ce qui s’est passé aux États unis avec deux avocats qui ont eu droit à « une amende de 5 000 dollars pour avoir utilisé des jurisprudences « hallucinées » par ChatGPT »[1]. Le risque est d’autant plus élevé pour un justiciable lambda qui, en se fondant sur une information erronée d’une IA, se trouverait dans l’illégalité. En outre, il y a également plusieurs questions juridiques qui gravitent autour de l’usage des outils d’IA dans le domaine juridique, notamment la question de la protection des données personnelles[2]. Pour autant, ces questions ne devront pas justifier le rejet de ces outils sans pour autant être prises à la légère. Il s’agit d’un juste équilibre à trouver entre les avantages et inconvénients en essayant de minimiser les risques et augmenter les bénéfices.

Finalement, les capacités et les limites des IA génératives sont difficiles à évaluer car elles évoluent constamment. Pour autant, il semble qu’il est encore très tôt pour imaginer que les IA soient pleinement performantes dans le domaine du droit. Cependant, la démarche de ces entrepreneurs est à encourager puisqu’il est difficile de savoir si ces projets aboutiront ou pas, sans avoir au moins essayé. Affaire à suivre…