Een veroordeling werd vernietigd omdat de rechter kunstmatige intelligentie gebruikte om het vonnis te schrijven: de zin die hem verraadde

De strafrechtbank van Esquel, provincie Chubut, vernietigde een strafvonnis omdat de rechter kunstmatige intelligentie had gebruikt bij het opstellen ervan. Na bestudering van de uitspraak trof de rechtbank de volgende zin aan: "Hier is punt IV herdrukt, zonder bronvermelding, klaar om te kopiëren en te plakken", een veelvoorkomende functie in applicaties zoals ChatGPT , 's werelds meest gebruikte chatbot voor het genereren van tekst.

De zaak veroorzaakte een storm in de rechtspraak, omdat de meest strikte beslissing werd genomen, namelijk de vernietiging van de straf en het proces . Met de vernietiging "ambtshalve" (d.w.z. zonder verzoek van een van beide partijen) werd het vonnis van 4 juni, uitgesproken door strafrechter Carlos Rogelio Richeri , waarin Raúl Amelio Payalef tot twee jaar en zes maanden effectieve gevangenisstraf voor overval was veroordeeld, vernietigd. Het proces zal opnieuw moeten plaatsvinden, met een andere rechter.

"Het Hof oordeelde dat de uitspraak meerdere grondwettelijke en procedurele schendingen opleverde. Ten eerste was er een duidelijk gebrek aan transparantie, aangezien er niet werd gespecificeerd welk AI-systeem werd gebruikt, welke gegevens werden ingevoerd of welke instructies eraan werden gegeven. Deze ondoorzichtigheid verhindert elke controle op mogelijke vooroordelen of fouten in het algoritme. Ten tweede werd er een verboden delegatie van de jurisdictiefunctie waargenomen, die van nature persoonlijk en niet-delegeerbaar is", legde Luis García Balcarce, een advocaat gespecialiseerd in digitale rechten, uit aan Clarín .

"Bovendien werd het beginsel van de natuurlijke rechter, dat stelt dat niemand mag worden beoordeeld door andere rechters dan die welke door de wet zijn aangewezen, geschonden . Een algoritme dat door particuliere bedrijven is ontwikkeld, kan geen beslissingen nemen die de vrijheid van mensen aantasten", voegde hij eraan toe.

De specialist legde uit dat bovendien "het recht op verdediging werd geschonden, aangezien door het weglaten van citaten en het niet specificeren van het gebruik van AI, de partijen de bronnen van de juridische redenering niet kenden en geen adequate controle over de beslissing konden uitoefenen."

Een van de grootste problemen die het gebruik van kunstmatige intelligentie in teksten kan veroorzaken, zijn zogenaamde " hallucinaties ", oftewel verzinsels. Er is nog een tweede probleem: het is waarschijnlijk dat de rechter persoonlijke gegevens van de betrokkenen in de zaak heeft geüpload in zijn consult met de AI, wat altijd gevaarlijk is, omdat er geen controle is over wat een bedrijf als OpenAI (maker van ChatGPT) met die informatie kan doen, of zelfs kan lekken.

Het is niet de eerste keer dat AI-misbruik in het nieuws komt. Eind augustus van dit jaar daagde het Hof van Beroep voor Burgerlijke Zaken en Handelszaken van Rosario een advocaat uit die in een rechtszaak citaten over kunstmatige intelligentie (AI) had verzonnen. De advocaat erkende dat de jurisprudentie die hij aanhaalde tot stand was gekomen met behulp van een generatief AI-programma (zoals ChatGPT) en dat hij zich niet realiseerde dat het een hallucinatie was.

De zaak werd breed besproken in de juridische wereld, niet omdat het de eerste keer was dat AI werd gebruikt, maar omdat het ertoe leidde dat een rechter een advocaat een formele waarschuwing gaf. De zaak bevatte jurisprudentiecitaten (verwijzingen naar eerdere uitspraken of vonnissen ter ondersteuning van een argument) die niet in eerdere documentatie te vinden waren.

"In eerdere zaken met betrekking tot AI werd een van de advocaten van een van de partijen meestal in de val gelokt met behulp van verzonnen citaten, zoals in Rosario gebeurde. Dit is de eerste keer dat een rechter betrokken is bij een zaak waarbij een strafrechtelijke veroordeling is uitgesproken, dus het is anders", aldus Pablo Palazzi, hoogleraar rechten aan de Universiteit van San Andrés en partner bij de afdeling technologierecht van Allende & Brea.

"Het gebruik van kunstmatige-intelligentiesystemen door rechters, officieren van justitie en advocaten is geen exclusief Argentijns fenomeen, maar maakt deel uit van een wereldwijde trend die zich sneller uitbreidt dan het ethische en regelgevende debat dat ermee gepaard zou moeten gaan. In de afgelopen twee jaar hebben rechtbanken in de Verenigde Staten, Spanje, Mexico, Peru en Zuid-Korea incidenten geregistreerd waarbij een rechterlijke beslisser generatieve tools, zoals ChatGPT, gebruikte om uitspraken op te stellen of argumenten te onderbouwen", herinnert Lucas de Venezia , advocaat (UCA) gespecialiseerd in recht en kunstmatige intelligentie, zich in een interview met dit medium.

In het geval van Chubut is de specialist het eens met de beslissing van de Kamer: " Het is een juiste en noodzakelijke beslissing om de structurele principes van het proces te behouden. De rechtshandeling is niet louter een wilsverklaring: het is een gezagsdaad die berust op het publieke vertrouwen, ondersteund door menselijk redeneren en de persoonlijke verantwoordelijkheid van de rechter", voegde hij eraan toe.

"Het gebruik van ongecontroleerde AI, zonder traceerbaarheid of effectief menselijk toezicht, verandert de uitspraak in een hybride product van dubieus auteurschap, wat de formele geldigheid en materiële legitimiteit ervan aantast", concludeerde hij.

Voor De Venezia is "nietigheid geen buitensporige sanctie, maar juist een daad van institutionele bescherming." "De wet moet streng reageren op de vervanging van menselijk oordeel door algoritmische automatisering, vooral wanneer degene die een dergelijke schending begaat, de persoon is die uiteindelijk de verantwoordelijkheid draagt", aldus De Venezia.

Palazzi voegt eraan toe: "De grote discussie is of de beslissing door de rechter is genomen of, in dit geval, is gedelegeerd aan ChatGPT. Je kunt een derde partij niet de opdracht geven om voor jou te beslissen, vooral niet als het om een ​​materiële kwestie gaat waarbij een burger wordt veroordeeld: als ze al eerder veroordeeld zijn, gaan ze de gevangenis in. Het is een heel moeilijke grens om te overschrijden.

En er is één opmerkelijk detail: "Wat ook opvalt, is dat niemand een nietigverklaring heeft aangevoerd, noch de officier van justitie, noch de verdachte. Misschien heeft de veroordeelde geprofiteerd van die straf; misschien krijgt hij nu drie jaar. En als de verdachte het niet heeft aangevoerd, kan zijn situatie, vanwege de grondwettelijke waarborgen, niet verslechteren ," voegt Palazzi eraan toe. Volgens hem "moeten we, in plaats van bang te zijn voor AI, leren om het te gebruiken, met onze eigen kennis en ons eigen oordeel."

De eerste en bekendste zaak ter wereld werd op 22 juni 2023 in de Verenigde Staten beslist, toen een advocaat een rechtszaak aanspande tegen de Colombiaanse luchtvaartmaatschappij Avianca. Hij verwees daarbij naar niet-bestaande jurisprudentie, juist vanwege het gebruik van ChatGPT.

Tegenwoordig bestaat er zelfs een website die zaken van over de hele wereld verzamelt.