В статье приведены результаты исследования, целью которого было выяснить, каким именно образом результат анализа реальных судебных актов зависит от постановки задачи для нейросети. В выборку вошли реальные арбитражные судебные акты разных типов. Подавляющее большинство фактических искажений пришлось на вариант с жестко заданной структурой, то есть «галлюцинация» возникает не там, где модель чего-то не поняла, а там, где от нее потребовали ответ, которого в документе нет. Авторы указали на три выделяемых профессиональным сообществом вектора, которые по сути очерчивают границы профессионального скептицизма при использовании искусственного интеллекта: предел верификации фактов – защита от «галлюцинаций»; предел конфиденциальности – защита адвокатской тайны; предел процессуального решения – авторство воли остается за адвокатом. Даны практические рекомендации адвокатам.
Об ошибках нейросетей при работе с документами написано много, и почти всегда разговор идет о модели: эта надежнее, та «галлюцинирует», дождемся следующего поколения. Работа с арбитражными судебными актами показывает, что заметная часть искажений связана не с моделью, а с тем, как сформулирован запрос к ней. Точнее – с требованием заполнить заранее заданные разделы, не оставляя их пустыми.
