Европейская комиссия по эффективности правосудия (CEPEJ) на декабрьском пленарном заседании в Страсбурге приняла Хартию об этических принципах применения искусственного интеллекта в судебных системах.
В Совете Европы «АГ» рассказали, что Хартия является результатом углубленного исследования, проведенного междисциплинарной группой экспертов CEPEJ. «Принятый документ, устанавливающий этические принципы применения искусственного интеллекта, особенно полезен на текущем этапе разработки подобного программного обеспечения, – уверена пресс-секретарь Совета Европы Эстель Штайнер. – В настоящее время государственные органы оценивают предлагаемые им новые инструменты и услуги в сфере правоприменения, однако разработки ведутся в основном частными компаниями, поэтому госорганы должны тщательно контролировать, чтобы предлагаемые алгоритмы действительно служили общественным интересам. А это трудная, но крайне важная задача, поскольку искусственный интеллект может оказывать существенное влияние на функционирование судебных систем и отдельных лиц».
В Хартии провозглашены пять принципов:
1. Принцип уважения фундаментальных прав – разработка и внедрение искусственного интеллекта не должны нарушать фундаментальные права человека.
2. Принцип отказа от дискриминации – предотвращение появления или усиления дискриминации в отношении отдельных людей и групп.
3. Принцип качества и безопасности – обработка судебных решений и данных должна проводиться в технически защищенной обстановке, на основании проверенных источников и с применением моделей, разработанных специалистами нескольких научных дисциплин.
4. Принцип открытости, беспристрастности и честности – методы обработки данных должны быть доступными и понятными для возможности проверки третьей стороной.
5. Принцип контроля со стороны пользователя – пользователи должны владеть правом выбора и необходимой информацией.
Ключевым является последний из приведенных принципов. В Совете Европы подчеркивают, что искусственный интеллект (то есть любые компьютерные программы и алгоритмы) является лишь вспомогательным сервисом и не должен принимать решения за компетентного человека (судью, полицейского и т.д.). «Этот принцип подразумевает взаимодополняемость между человеком и искусственным интеллектом, – подтверждает Эстель Штайнер. – Искусственный интеллект предоставляет огромные возможности судьям, адвокатам и сторонам лучше выполнять свою работу, но он должен оставаться средством для достижения этой цели. Программа может предлагать результаты (например, судье о том, как принять решение по конкретному делу на основе анализа предыдущего прецедентного права или судебной практики по рассматриваемой категории дел) и давать советы сторонам, которые предпочли бы урегулировать спор вне судебной системы (например, посредством посреднических услуг), но в любом случае важно, чтобы окончательное решение было оставлено на усмотрение судьи или стороны спора».
В приложениях к Хартии Европейская комиссия по эффективности правосудия приводит примерный перечень программного обеспечения, в котором используется искусственный интеллект и на который должно распространятся действие принятого документа:
- продвинутые прецедентные поисковые системы (поисковые системы по судебной практике);
- платформы для онлайн-разрешения споров (ранее «АГ» писала, что в России хотят создать электронное досудебное урегулирование споров по защите прав потребителей);
- системы анализа перспектив разрешения спора в суде, шкалы расчетов ожидаемых компенсаций или штрафов;
- различные прогностические программы, предсказывающие вероятность повторного криминального поведения задержанного лица, вероятность совершения преступления в каком-либо районе и т.п.;
- сервисы помощи в составлении документов на основании шаблонов, включая контракты с различными критериями;
- «чат-боты» для юридического консультирования сторон или их поддержки в суде (в России известен чат-бот Правовед.ру, консультирующий граждан по типичным вопросам защиты прав потребителей).
Самой известной в России системой применения искусственного интеллекта в юридической, а точнее – в правоохранительной сфере является внедренная в московском метро (и не только в нем) система распознавания лиц.
В программной статье комиссара Совета Европы по правам человека Дуни Миятович отмечается, что распознавание лиц создает напряженность между технологиями и необходимостью соблюдать права человека. Она соглашается, что эта технология может быть мощным инструментом в арсенале сотрудников правоохранительных органов для поиска террористов, но предостерегает, что она также может превратиться и в оружие для контроля над людьми.
«Сегодня правительствам легко постоянно наблюдать за вами и ограничивать права на неприкосновенность частной жизни, свободу собраний, свободу передвижения и свободу прессы», – отмечает Дуня Миятович, подчеркивая, что поиск правильного баланса между технологическим развитием и защитой прав человека – задача, от решения которой зависит будущее общества, в котором мы хотим жить.
Оценка возможного рецидива
Уже два года на северо-востоке Англии в небольшом городе Дарем проводится эксперимент. Местная полиция использует продукт, разработанный Кембриджским университетом, под названием HART (Harm Assessment Risk Tool) – инструмент оценки рисков вреда. В эту программу загружены 104 тыс. полицейских дел за 5 лет задержаний злоумышленников полицией Дарема. Используя сложные алгоритмы оценки этих данных, искусственный интеллект HART дает прогноз каждому новому задержанному – каковы риски совершения им нового преступления. Эти прогнозы полиция использует, чтобы решить, возможно ли отпустить задержанного под залог или необходимо содержать его под стражей…
А начиналось все с анализа очевидных данных – возраста, пола, адреса прописки и проживания, места и времени совершения правонарушения, повторности преступления и т.д. Как указывает WIRED, самая ранняя версия алгоритмической модели HART, например, предсказывала, что 24-летний мужчина, у которого была криминальная история насилия – у полиции было 22 предыдущих отчета о нем – будет с высокой вероятностью снова нарушать закон (система дала ему 414 высоких голосов, 87 умеренных и 8 низких).
(Примечание: всего у искусственного интеллекта HART 509 голосов: высокие – вероятность рецидива значительная, есть риски совершения тяжкого преступления; умеренные голоса – есть вероятность рецидива, но связанного с совершением незначительного преступления или проступка; низкие голоса – низкая вероятность рецидива, скорее всего, человек останется законопослушным.)
Позже данный субъект был арестован и осужден за убийство… То есть система сработала, хотя, как указывают в Кембриджском университете, независимое экспертное исследование HART показало, что общая точность прогнозов HART составляет около 63%.
Как бы то ни было, окончательное решение о залоге или заключении под стражу все равно принимает ответственный сотрудник полиции Дарема, HART используется полицией лишь как вспомогательный консультативный инструмент.
Однако первая волна недовольства «искусственным интеллектом в погонах» поднялась в прессе в связи с тем, что якобы алгоритм HART дискриминирует жителей бедных районов. Полиция не стала особо спорить и даже исключила данные об адресе прописки из базы данных HART, но зато включила много чего еще. Как показало расследование общественной организации Big Brother Watch, борющейся за конфиденциальность и гражданские права в Великобритании, полиция Дарема выкупила у крупнейшего британского агентства по потребительскому кредитованию Experian базу данных на всех 50 млн взрослых Великобритании, в результате чего искусственный интеллект HART узнал еще больше интересного о британцах. Как утверждает Big Brother Watch, теперь алгоритм, решая, следует ли вас отпускать под залог или оставить под стражей, знакомится с вашей кредитной историей, данными о состоянии здоровья, информацией о вашей успеваемости в школе, личных именах, связанных с этнической принадлежностью (они могут отличаться от тех, что в паспорте), анализирует вашу активность в соцсетях и многое другое.
Силки Карло, директор Big Brother Watch, в этой связи бьет в набат: «Для компании, занимающейся проверкой персональных данных при выдаче кредитов, собирать миллионы единиц информации о нас и продавать профили тем, кто предложит самую высокую цену, – это ужасно. Но для полиции, загружающей эти профили в искусственный интеллект, чтобы принимать решения о свободе и справедливости в Великобритании – это антиутопия».
Необходимо добавить, что полиция Дарема не раскрывает код и прочие внутренности HART для аудита сторонним экспертам, обосновывая это боязнью утечек персональных данных.
Оценка целесообразности условно-досрочного освобождения
Между тем в Америке имеется еще более интересный программный продукт с использованием возможностей искусственного интеллекта – COMPAS (Correctional Offender Management Profiling for Alternative Sanctions). Он применяется судьями в отдельных штатах при рассмотрении заявлений об условно-досрочном освобождении заключенного, определении вида надзора за освобожденным и даже при назначении срока наказания подсудимому. Искусственный интеллект на основании пройденного человеком тестирования (137 вопросов) и его персональных данных прогнозирует вероятность совершения рецидивного преступления (как насильственного, так и обычного). Фактически это расширенная версия английской HART, дополненная анкетированием поднадзорного человека для определения его «поведенческих и психологических конструктов, которые очень важны для рецидивизма и криминальной карьеры», указывают разработчики программы из компании Northpointe.
Анкета содержит вопросы об образе жизни и мышления человека: они касаются семьи, места проживания, социальных связей и окружения, профессиональной и личной сфер. Порой вопросы весьма провокационны, например, имеет ли моральное право голодный человек украсть еду?
Поскольку COMPAS используется с 1998 г., то к услугам искусственного интеллекта уже более миллиона анкет, и компьютер сопоставляет ответы старых рецидивистов с ответами нового испытуемого для вынесения заключения о вероятности повторного преступления. Правда, не вполне понятно, установит ли COMPAS, если отвечающий на вопросы анкеты испытуемый соврет, желая предстать перед искусственным разумом в лучшем свете. Да, часть биографических вопросов, особенно о проблемах с законом, проверяема, но большинство – весьма субъективны и оценочны. Возможно, что внутрь теста зашиты вопросы на проверку честности, по ответам на которые машина увидит, насколько искренен отвечающий, и учтет это, но алгоритмы работы COMPAS также хранятся разработчиками в секрете.
Но критике программа подвергалась за другое. Согласно проведенным независимыми экспертами исследованиям точность COMPAS в прогнозировании рецидива составляет 65% (сопоставимо с 63% английской HART), однако примерно те же показатели точности прогноза (63–67%) дают предсказания фокус-группы из 400 случайных человек, собранных в интернете. Правда, люди основывались всего на 7 переменных в отношении каждого человека, тогда как программа – минимум на 137 показателях, пишет The Atlantic. Такой подход был объяснен необходимостью избежать «замыливания глаз» людей от переизбытка данных. С другой стороны, это прекрасный показатель того, что COMPAS справляется со своей работой, ведь фокус-группу для каждого подсудимого собрать невозможно, а искусственный интеллект вот он – достаточно нажать кнопку на судейском компьютере.
Но еще более жесткой атаке COMPAS подвергся со стороны общественности, которая обвиняла искусственный интеллект в предвзятом отношении к чернокожим американцам. Однако разработчики отбились от всех обвинений, заявив, что параметр «раса» не учитывается при анализе данных и вынесении прогноза о возможном рецидиве. Это подтверждают и независимые исследования ученых. Как пишет The Washington Post, обвинения в предвзятости искусственного интеллекта появились из-за косвенных признаков: «Действительно, чернокожие обвиняемые с большей частотой относятся COMPAS к категории среднего или высокого риска повторного преступления (58% против 33%). И хотя алгоритм Northpointe не использует расу напрямую, многие атрибуты, которые предсказывают повторное правонарушение, тем не менее зависят от расы. Например, черные обвиняемые с большей вероятностью будут иметь предварительные аресты, и, поскольку предыдущие аресты предсказывают повторное преступление, алгоритм помечает большее количество черных обвиняемых как относящихся к категории высокого риска, даже если он не использует их расу в классификации напрямую».
Директор по акселерации юридических технологий Фонда «Сколково» Антон Пронин в разговоре с «АГ» также заметил, что вопросы дискриминации, поставленные в Хартии об этическом применении искусственного интеллекта, могут вызвать некоторые осложнения. «Проблема, которую я вижу в Хартии, заключается в том, что практически в любых накопленных массивах данных, с которыми работает искусственный интеллект, можно узреть дискриминацию какого-либо рода. Конечно, это зависит от того, какой тон или характер заложен в данных, – отмечает он. – Если вдруг выяснится на большом объеме данных, что по какой-то категории преступлений, скажем, женщин оправдывали чаще чем мужчин, то это будет являться паттерном для искусственного интеллекта (он так обучился). И на базе этого паттерна он и далее будет применять решения».
Одновременно Антон Пронин предупреждает, что политические факторы могут искажать реальность и ограничивать искусственный интеллект в объективных оценках: «Под влиянием некоторых концепций в западных странах могут появляться различные “шумы” в данных, типа дискриминации или наоборот – утрированной толерантности, которая по сути тоже дискриминация, например когда на работу возьмут, скорее, человека нетрадиционной ориентации или сотрудника не светлой внешности, чтобы избежать обвинений».
Как следует из слов эксперта, сказанное в Хартии в этом разрезе следует рассматривать так, чтобы не допускать при работе с искусственным интеллектом ни дискриминации, ни так называемой позитивной дискриминации, поскольку обе эти призмы могут существенно исказить результаты, к которым придет самообучающаяся машина.
Прогнозирование исхода судебного дела и суммы компенсации в гражданском процессе
Между тем во Франции большую популярность приобрели такие стартапы как Predictice, которые предлагают решения, позволяющие предвидеть исход судебного дела и сумму компенсации в гражданском процессе. Программы выдают результат на основе анализа данных прошлых судебных дел.
Луи Ларре-Шайн, один из основателей Predictice, когда программное обеспечение тестировалось Апелляционными судами Ренна и Дуэ, в своих заявлениях обещал «положить конец правосудию, которое было непредсказуемым, случайным и несопоставимым по всей стране, и двигаться к чему-то более логичному, научному или, по крайней мере, немного более предсказуемому».
Несмотря на поддержку таких инициатив со стороны государства, указанные апелляционные инстанции в октябре 2017 г. заявили, что протестированное ими программное обеспечение «не представило для судей дополнительной ценности». Как говорится в коммюнике, у судей достаточно уже имеющихся средств для анализа предыдущей судебной практики, а также собственных знаний, навыков и опыта.
Однако Министерство юстиции Франции тогда заявило, что «планируется новый этап экспериментов на добровольной основе с другими апелляционными судами», добавив, что в программу будут внесены необходимые коррективы.
Автоматическая подготовка протокола судебного заседания
Наконец, в Латвии разработано очень интересное программное решение, отмеченное все той же CEPEJ, которое называется Система маркировки аудиопротоколов TIX. Причем оно работает в Латвии с сентября 2013 г. Фактически TIX – это набор аудиозаписей хода судебного заседания, которые позволяют легко создавать четкие, интерактивные протоколы судебных заседаний в формате PDF со связанным текстом и аудиоданными.
Нечто подобное обещала в мае 2018 г. и председатель Мосгорсуда Ольга Егорова. Выступая на Международной конференции «Суд XXI века: технологии на службе правосудия», она сообщила, что планируется создание программы автоматической подготовки протокола судебного заседания на основе системы распознавания речи. «В качестве пилотного проекта мы хотим оборудовать залы судебного заседания в Московском городском суде и посмотреть, как это будет работать», – заявила она. А заместитель председателя Мосгорсуда Дмитрий Фомин добавил, что тестовое внедрение этой системы также будет осуществлено в 10 залах районных судов Москвы. «Протокол судебного заседания будет формироваться автоматически в электронном виде, практически без участия секретаря. Это, конечно, облегчит работу аппарата суда и даст гарантию того, что протокол достоверен, в нем зафиксировано точно то, что происходило в судебном заседании. Количество жалоб в этой части сведется к минимуму», – уверен он.
Кроме того, как известно, с 1 сентября 2019 г. в России вводится обязательная аудиозапись всех судебных заседаний по уголовным процессам. Однако представители адвокатского сообщества, в целом приветствуя подобные нововведения, опасаются, как бы благие намерения не разбились о твердь правоприменительной практики.
«Конечно, с учетом прогресса компьютерной техники и электронный секретарь судебного заседания вполне может стать реальностью, но проблема-то с протоколом судебного заседания лежит в совершенно иной плоскости, – рассказал в беседе с “АГ” московский адвокат Александр Васильев. – В протоколах судебных заседаний систематически “теряются” фрагменты, фиксирующие те или иные доказательства защиты, факты нарушения прав подсудимых или некорректного поведения председательствующего в отношении участников уголовного судопроизводства. При этом обжалование этих недостатков протокола – и при принесении возражений на протокол судебного заседания, и при обжаловании судебного решения в апелляции – постоянно превращается в фарс. Судьи систематически “не усматривают” нарушений в составленном протоколе судебного заседания и “не находят оснований” для прослушивания аудиозаписей, которые и сейчас имеет право вести сторона защиты». Адвокат опасается, что и с электронным секретарем, и с обязательными аудиозаписями произойдет тоже самое – за электронным секретарем будут править, а обязательные аудиозаписи не будут слушать, как и необязательные.
«Решаться эта проблема должна путем введения законодательных норм, безальтернативно обязывающих судей при рассмотрении жалоб на достоверность протокола изучать спорные фрагменты аудиозаписей судебного заседания и/или назначать по ним аудиофоническое исследование для точного установления текстового содержания аудиозаписи. Причем отказ от прослушивания обязательной аудиозаписи для рассмотрения возражений на протокол должен быть приравнен к безальтернативному основанию для отмены судебного решения», – уверен Александр Васильев.
***
Однако опасения у юристов вызывают не только возможные огрехи применения новых технологий людьми, но и сами программы, основанные на искусственном интеллекте. Несмотря на то что разработчики таких программ и их вдохновители неустанно повторяют, что автоматизация права поможет юристам в их профессиональной жизни, последние продолжают с недоверием относиться к legaltech-решениям.
Например, как ранее заявлял «АГ» руководитель конституционной практики Адвокатской конторы «Аснис и партнеры» Дмитрий Кравченко: «Повышение степени автоматизации в публичном правоприменении все сильнее приближает нас к объективному вменению, как это происходит, например, с автоматической фиксацией нарушений ПДД. Общество как-то смиряется с этой практикой в связи с условной малозначительностью сферы такого правоприменения. Но если ответственность за более существенные правонарушения будет устанавливаться, а наказания – определяться без субъективной оценки степени вины, у нас может возникнуть много вопросов к тому, как подобные процессы будут соотноситься с конституционными принципами».
