Учени предупреждават: без изкуствен интелект в правораздаването

При големите езикови модели (LLM) учените са установили висока склонност към „халюцинации“ при работа по правни теми. Инструментите с изкуствен интелект (ИИ) използват дълбоко обучение и голям масив данни, за да разберат, обобщят и генерират ново съдържание. В правната материя обаче, ИИ-инструментите често не подбират действителни юридически случаи, принципи и прецеденти, а комбинират данни и „съчиняват” предполагаеми юридически ситуации.

От изследваните три модела ИИ-инструменти – PaLM 2 на Google, Llama 2 на Meta и ChatGPT 3.5 на OpenAI, последният се представя „най-добре”, генерирайки нереални юридически факти през 69 % от времето за изпълнение на задачата, Резултатът за. PaLM 2 е 72 % и за Llama 2 - 88 %.

Проучването е отговор на навлизането на ИИ в правния сектор и мащабното предлагане на ИИ-инструменти. Задачите им обикновено са да намерят доказателства, да подготвят бележки по дела и създават стратегии при съдебни спорове. Примерите от практиката обаче, са повече от смущаващи. 

Особено коварно е, че ИИ-моделите всъщност „не винаги знаят, че произвеждат правни халюцинации“, което е особено голям риск за млади юристи с ограничен достъп до правни ресурси, или хора, които се представляват в съда сами.

Изследователите са установили, че колкото по-сложен е случаят, толкова по-висок е процентът на фалшивите резултати. Ако борави с леснодостъпна информация, ИИ се справя сравнително добре. При търсене на други становища ефективността пада и е най-зле, когато ИИ „синтезира основна правна информация от неструктурирани правни текстове”. 

Учените са установили също, че т.нар. халюцинации са най-много при работа по дела на ниско ниво (апелативните и окръжните съдилища), докато пространството за халюцинации е най-ограничено при най-високото съдебно ниво – Върховният съд, което предполага, че в ежедневната юридическа практика не може да се разчита на ИИ. 

Авторите на изследването са идентифицирали две потенциално критични точки на провал при прилагането на ИИ в решение на юридически задачи: контрафактологично пристрастие (представяне на отговор на съдебно запитване за верен, дори да не е, или да не е даван) и калибриране на модел на поведение, т.е., ИИ става прекалено уверен в своите халюцинирани отговори.

„Тези констатации охлаждат ентусиазма относно способността на съществуващите обществено достъпни ИИ-модели да ускорят достъпа до правосъдие“, посочват учените. Наскоро и главният съдия на Върховния съд на САЩ Джон Робъртс заяви, че ИИ има потенциал да помогне на хора, които не могат да си позволят адвокат, но същевременно предупреди, че технологията трябва да се използва „предпазливо и смирено”.

„Машините не могат да заменят ключовите участници в съда, нито да преценят искреността на обвиняемия по поведението му, включително при произнасяне на присъдата. Тези нюанси имат значение“, пише Робъртс.

Миналата година Майкъл Коен, бивш адвокат на Доналд Тръмп, призна, че случайно е представил фалшивиправни цитати, съставени от инструмента Bard AI на Google. В клетвена декларация Коен твърди, че не е знаел за способността на Bard AI да компилира истински на вид текстове, но всъщност неверни. 

В Уелс и Англия, съдебната власт предупреди, че „всички, които заемат съдебни длъжности трябва да са запознати с потенциалните рискове“ от използването на ИИ, особено относно поверителността. „Обществено достъпните версии на тези инструменти по същността си са отворени, така че в тях не трябва да се въвежда лична или поверителна информация“, се казва в инструкцията. С други думи, ИИ няма скоро да облече съдийска или адвокатска тога.