Эксперт по искусственному интеллекту и машинному обучению Сергей Марков во время своей лекции, прочитанной в рамках программы «LegalTech-директор», коротко высказался о дефектах, которые имеются в математических моделях, базирующихся на искусственном интеллекте. По его мнению, цифровые суды, введение которых время от времени пророчат в прессе, также не будут избавлены от них, что с неизбежностью приведет к формированию цифровой адвокатуры как посредника между людьми и алгоритмами.
Сославшись на труды американского математика Кэтрин О’Нил, он обозначил пять основных проблем, которые можно отметить в работе уже применяющихся математических моделей. (После лекции я попросила Сергея Маркова привести несколько примеров, иллюстрирующих эти проблемы, а также более подробно рассказать о них.)
Во-первых, проблема закрытости. «Скажем, вы представитель какой-то массовой профессии и вы устраиваетесь на работу. Скорее всего, ваша анкета будет оцениваться при помощи системы, которая автоматически отметет людей, чьи баллы будут ниже некоторого порога. Понимаете, в чем дело? – задал он вопрос слушателям. – В этой системе может существовать дефект, связанный с чисто инженерными ошибками или с тем, что машина была обучена на решениях экспертов, у которых были какие-то предрассудки, например расовые, гендерные, какие угодно».
Эксперт пояснил, что модель, обученная на такого рода решениях, воспроизводит все эти проблемы, но при этом человек, сталкиваясь с влиянием этой модели на свою жизнь, едва ли не меньшим, чем решение суда, не имеет никакой возможности себя защитить, потому что модель проприетарна – она принадлежит компании, она закрыта, и человек не имеет возможности получить доступ к ее структуре. «Вы не знаете, какие факторы принимались в расчет, когда выносилось то или иное решение в отношении вас. У вас нет никаких способностей себя защитить в этой ситуации», – объяснил лектор, добавив, что эта проблема получила название цифрового тайного суда и она сейчас достаточно активно обсуждается.
Сергей Марков сослался на перевод статьи «Цифровой тайный суд», в которой, в частности, приводилось весьма пугающее описание нового компьютеризированного рабочего места, данное водителем Uber Мансуром. Компания пыталась убедить его взять кредит на покупку нового автомобиля под очень высокие проценты. По всей видимости, соответствующая математическая модель считала, что у него высокий риск нарушения договора. Uber никогда не отвечал водителю лично – он лишь получал автоматические текстовые сообщения и электронные письма. «История Мансура, по сути, лишь иллюстрирует давние тенденции в области кредита и занятости, и она ни в коем случае не уникальна. Интернет-магазины живут в постоянном ужасе перед “смертной казнью Google” – внезапным, загадочным падением в рейтинге поисковых систем в случае, если они сделали нечто, что гугловские алгоритмы расценили как мошенничество. В США ищущие работу в Walmart и других крупных компаниях проходят “личностные тесты”, которые затем обрабатываются нераскрытыми способами. Белые воротнички также сталкиваются с CV-сортировочными программами, которые могут занизить или полностью проигнорировать их квалификацию. Один алгоритмический анализатор резюме решил, что все 29 000 людей, которые претендовали на “более-менее стандартную инженерную должность”, недостаточно квалифицированы», – привел эксперт примеры из статьи.
С проблемой закрытости связана вторая важная проблема – отсутствие обратной связи. «Вы отправили свою заявку – получили отказ. Почему и на чем основан отказ – вы не знаете, а если вы не знаете причины отказа, то не знаете, что должны сделать для того, чтобы избежать повторного отказа, не знаете, верные ли данные о вас были приняты в расчет», – пояснил эксперт.
В качестве иллюстрации проблемы он привел еще один пример из статьи. Одну женщину частный брокер данных ложно обвинил в том, что она продает метамфетамин, и той потребовались годы, чтобы исправить запись, – годы, в течение которых домовладельцы и банки отказывали ей в жилье и кредитах. Ситуация с государственными базами данных может быть еще хуже: в США, например, невинных людей опорочили «Отчеты о подозрительной деятельности» или неточные записи об арестах. Обе проблемы беспокоили несчастных граждан в течение многих лет.
В-третьих, модели вбирают в себя предрассудки, предвзятости экспертов. Сергей Марков заметил, что в то время как большинство сторонников конфиденциальности сосредоточились на вопросе сбора данных, угроза, исходящая от бездумного, плохого или дискриминационного анализа, вполне может быть сильнее: «Представьте себе искусственный интеллект, готовящий проекты судебных решений, обученный на решениях, принятых судьей-расистом или судьей-женоненавистником?»
В-четвертых, проблема чрезмерного доверия моделям. «“Это же машина решила, это же искусственный интеллект”, – думают люди, подразумевая при этом, что модель обладает сверхчеловеческими способностями, – объяснил Сергей Марков. – Не все и не всегда отдают себе отчет в том, что тот факт, что некоторый искусственный интеллект выиграл в го или шахматы у чемпиона мира, вовсе не значит, что система кредитного скоринга не ошибется, присваивая вам кредитный рейтинг, – поведение модели вполне себе может быть связано с дефектами, допущенными на стадии разработки».
По его словам, искусственный интеллект очень часто воспринимается как некая единая сверхчеловеческая сущность. «Такое представление активно формируется под влиянием плохого кино и бульварного чтива, – заметил он. – В действительности же мы имеем дело с совершенно разными системами, создававшимися разными командами, обладающими разными свойствами и предназначенными для решения совершенно разных задач».
Последнее – формирование «токсического цикла». В качестве потенциально опасного в этом отношении примера лектор привел в пример испытываемую в настоящее время в Китае систему социального рейтинга, суть которой заключается в присваивании гражданам некоторого рейтинга на основании их поступков с использованием моделей машинного обучения. От этого рейтинга может зависеть доступ граждан к государственным сервисам и благам.
«Проблема заключается в том, что человек, по юности оступившись и получив плохое значение социального рейтинга, утрачивает доступ к качественному образованию, тем самым у него снижаются возможности по реабилитации. То есть эта система, вместо того, чтобы корректировать действия людей, допускающих ошибки, может их в еще большей мере загонять на социальное дно. Потенциально это очень опасное свойство подобного рода моделей», – подчеркнул Сергей Марков.
Он уверен, что с внедрением в жизнь все большего числа математических моделей неизбежно появятся юристы, которые будут защищать интересы людей в мире, в котором искусственный интеллект получает все большую и большую власть. В частности, будет развиваться институт цифровой адвокатуры – людей, которые будут специализироваться на защите интересов людей в их взаимодействии с различными математическими моделями.
Лектор предположил, что возможно выстраивание нескольких моделей такого взаимодействия. По его мнению, одним из вариантов может быть предоставление государством саморегулирующимся организациям прав в части контроля процесса разработки и функционирования некоторых моделей. Представители этих организаций смогут получать регламентированный доступ к данным, находящимся под защитой коммерческой тайны, в целях валидации моделей, выявления потенциальных дефектов.
Он также отметил, что возможна и частная инициатива: компания, обладающая наработанными медийными ресурсами, налаженными отношениями с крупными корпорациями, может взять на себя роль посредника в защите интересов клиентов компаний. «Грубо говоря, вы идете в частную компанию, у которой есть опыт разрешения подобного рода конфликтов, а она, используя свои ресурсы, защищает ваши интересы: помогает убедиться, что в отношении вас не была допущена ошибка, а если была – способствует получению справедливой компенсации», – пояснил он.
Сергей Марков заметил, что возможность выстраивания этих механизмов сейчас активно обсуждается. Основные вопросы, которые предстоит решить экспертам, – какие полномочия должны быть предоставлены цифровой адвокатуре, чтобы обеспечить эффективное выполнение ею своих функций и в то же время не нанести серьезного ущерба развитию цифрового бизнеса; каким образом обеспечить необходимый уровень квалификации специалистов, задействованных в этой области; какие эффективные процедуры могут быть разработаны в этой сфере.
