Варианты искусственного интеллекта ("ИИ"), такие как прогнозное моделирование, статистическое обучение и машинное обучение, могут создать новую ценность для организаций. ИИ также может нанести дорогостоящий ущерб репутации вашей организации, привести к судебному разбирательству и нарушению местных, федеральных или международных правил. Сложные вопросы о соответствии требованиям и законности часто также негативно сказываются на внедрении ИИ на поздних стадиях, поскольку специалисты по обработке данных редко привлекают юристов или надзорный персонал к участию в этапах создания систем ИИ. Более того, как и многие мощные коммерческие технологии, искусственный интеллект, вероятно, в будущем будет строго регулироваться.

В этой статье рассматриваются семь юридических вопросов, которые специалисты по обработке данных должны решить, прежде чем внедрять ИИ. Эта статья не является юридической консультацией. Однако эти вопросы и ответы должны помочь вам лучше привести технологии вашей организации в соответствие с существующими и будущими законами, что приведет к менее дискриминационному и агрессивному взаимодействию с клиентами, уменьшению препятствий со стороны регулирующих органов или судебных разбирательств и повышению отдачи от инвестиций в искусственный интеллект. Как следует из приведенных ниже вопросов, при создании вашей системы ИИ важно учитывать юридические последствия. Хотя многие организации дожидаются инцидента, чтобы обратиться за юридической помощью, соблюдение установленных требований позволяет экономить ресурсы и репутацию.

Справедливость: существуют ли различия в результатах или точности типовых решений в разных защищаемых группах? Документируете ли вы усилия по поиску и устранению этих различий?

Федеральные нормативные акты требуют недискриминации в сфере потребительских финансов, занятости и других сферах деятельности, в то время как местные законы США часто расширяют эти меры защиты или определяют отдельные меры защиты. Даже если существующие сегодня законы напрямую не затрагивают ваш ИИ, алгоритмическая дискриминация может привести к репутационному ущербу и судебным искам, а текущие политические тенденции подталкивают к более широкому регулированию ИИ. Чтобы решить проблему алгоритмической дискриминации и подготовиться к принятию будущих нормативных актов, организации должны совершенствовать культурные компетенции, бизнес-процессы и стеки технологий.

Технология сама по себе не может решить проблемы алгоритмической дискриминации. Надёжные технологии должны сочетаться с изменениями в культуре и процессах, такими как увеличение демографического и профессионального разнообразия в командах, создающих системы ИИ, и совершенствование процессов аудита этих систем. Некоторые дополнительные нетехнические решения включают в себя этические принципы использования ИИ в организациях и общее изменение менталитета. Действовать быстро и нарушать правила – не лучшая идея, когда вы нарушаете права людей на кредиты, рабочие места и здравоохранение.

С технической точки зрения, вам нужно начать с тщательного планирования экспериментов и сбора данных, которые действительно отражают смоделированные популяции. После обучения вашей системы все аспекты решений, принимаемых на основе ИИ, должны быть протестированы на предмет различий между демографическими группами: первичный результат работы системы, последующие решения, такие как установление лимитов по кредитным картам, и ручное изменение автоматизированных решений, а также точность всех этих решений. Во многих случаях тесты на дискриминацию и любые последующие исправления также должны проводиться с использованием разрешенных законом методов, а не только вашего нового любимого пакета Python. Такие показатели, как коэффициент неблагоприятного воздействия, предельный эффект и стандартизированная средняя разница, наряду с предписанными методами устранения выявленной дискриминации, закреплены в нормативных комментариях. Наконец, вам следует задокументировать свои усилия по устранению алгоритмической дискриминации. Такая документация показывает, что ваша организация серьезно относится к ответственности за свои системы ИИ, и может оказаться неоценимой, если после внедрения возникнут юридические вопросы.

Конфиденциальность: соответствует ли ваша модель соответствующим правилам конфиденциальности?

Персональные данные строго регулируются даже в США, и ничто из того, что касается использования данных в системе ИИ, не меняет этого факта. Если вы используете персональные данные в своей системе ИИ, вам необходимо помнить о существующих законах и следить за изменениями нормативных актов штата, таких как Закон о конфиденциальности биометрической информации ("BIPA") в Иллинойсе или новый Закон штата Калифорния о правах на неприкосновенность частной жизни ("CPRA").

Чтобы справиться с реальными требованиями к неприкосновенности частной жизни, команды, занимающиеся ИИ, также должны соблюдать политику приватности данных организации. Специалистам по обработке данных следует ознакомиться с этими правилами на ранних стадиях ИИ-проекта, чтобы избежать проблем с конфиденциальностью. Как минимум, эти меры политики, скорее всего, будут направлены на:

• Согласие на использование: как получается согласие потребителя на использование данных; типы собираемой информации; и способы, с помощью которых потребители могут отказаться от сбора и обработки данных.
• Правовая основа: любые применимые правила конфиденциальности, которым соответствуют ваши данные или ИИ; причины, по которым вы собираете определенную информацию; и связанные с этим права потребителей.
• Требования к анонимизации: как агрегируются и обезличиваются данные о потребителях.
• Требования к хранению: как долго вы храните данные потребителей; меры безопасности, необходимые для защиты этих данных; а также могут ли потребители потребовать, чтобы вы удалили их данные, и если да, то каким образом.

Учитывая, что большинство систем ИИ со временем меняются, вам также следует регулярно проверять свой ИИ, чтобы убедиться, что он по-прежнему соответствует вашей политике приватности. Запросы пользователей на удаление данных или добавление новых функций, требующих больших объемов данных, могут вызвать юридические проблемы даже для тех ИИ-систем, которые соответствовали требованиям на момент их первоначального развертывания.

И последний общий совет – составьте план реагирования на инциденты. Это урок, извлеченный из общей практики обеспечения ИТ-безопасности. Помимо многих других соображений, в этом плане должны быть подробно описаны систематические способы информирования регулирующих органов и потребителей о случаях утечки или незаконного присвоения данных.

Безопасность: включили ли вы применимые стандарты безопасности в свою модель? Можете ли вы определить, происходит ли нарушение и когда оно происходит?

Как потребительские программные системы, системы ИИ, вероятно, подпадают под действие различных стандартов безопасности и законов о сообщениях о нарушениях. Вам нужно будет обновить процедуры ИТ-безопасности вашей организации, чтобы они применялись к системам ИИ, и вам нужно будет убедиться, что вы сможете сообщать, если системы ИИ – данные или алгоритмы – будут скомпрометированы.

К счастью, мы хорошо понимаем основы ИТ-безопасности. Во-первых, убедитесь, что они единообразно применяются во всех ваших ИТ-подразделениях, включая этот суперсекретный проект по созданию ИИ и работающих над ним специалистов по обработке данных. Во-вторых, начните готовиться к неизбежным атакам на ИИ. Эти атаки, как правило, связаны с манипулированием решениями, основанными на ИИ, или утечкой конфиденциальных данных из конечных точек системы ИИ. Хотя сегодня подобные атаки не являются обычным явлением, вы же не хотите стать наглядным уроком безопасности с помощью ИИ на долгие годы вперед. Поэтому обновите свои политики ИТ-безопасности, чтобы учесть эти новые атаки. Стандартные контрмеры, такие как аутентификация и регулирование на конечных точках системы, во многом способствуют повышению безопасности ИИ, но новые подходы, такие как надёжное машинное обучение, дифференцированная конфиденциальность и федеративное обучение, могут ещё больше затруднить взлом ИИ злоумышленниками.

Наконец, вам нужно будет сообщать о нарушениях, если они возникнут в ваших системах ИИ. Если ваша система ИИ похожа на чёрный ящик и лабиринт, это может быть непросто. По возможности избегайте чрезмерно сложных алгоритмов "черного ящика", отслеживайте системы ИИ в режиме реального времени на предмет проблем с производительностью, безопасностью и распознаванием, а также следите за тем, чтобы системная документация была применима для реагирования на инциденты и сообщения о нарушениях.

Агентство: принимает ли ваша система ИИ несанкционированные решения от имени вашей организации?

Если ваша система ИИ принимает важные решения, крайне важно убедиться, что она не может принимать несанкционированные решения. Если ваш ИИ основан на машинном обучении, как большинство из существующих сегодня, результат вашей системы вероятностен: она будет принимать неправильные решения. Неправильные решения на основе ИИ по существенным вопросам – кредитованию, финансовым операциям, трудоустройству, здравоохранению или уголовному правосудию, среди прочего, – могут привести к серьезным юридическим последствиям (см. раздел "Небрежность" ниже). Что ещё хуже, использование ИИ для введения потребителей в заблуждение может поставить вашу организацию в невыгодное положение в связи с принудительными действиями Федеральной торговой комиссии США ("FTC") или коллективным иском.

Каждая организация по-разному подходит к управлению рисками, поэтому установление необходимых ограничений на автоматизированные прогнозы – это бизнес-решение, требующее участия многих заинтересованных сторон. Кроме того, люди должны проверять любые решения ИИ, которые предполагают такие ограничения, до того, как будет принято окончательное решение в отношении клиента. И не забывайте регулярно тестировать свою систему ИИ в экстремальных ситуациях, чтобы убедиться, что она остается в заданных пределах.

В связи с этим, цитируя FTC, "не вводите потребителей в заблуждение относительно того, как вы используете автоматизированные инструменты". В своём руководстве по использованию искусственного интеллекта и алгоритмов FTC специально осудила компании за манипулирование потребителями с помощью цифровых аватаров, выдающих себя за реальных людей. Чтобы избежать подобного рода нарушений, всегда информируйте своих потребителей о том, что они взаимодействуют с автоматизированной системой. Кроме того, рекомендуется внедрять средства правовой защиты непосредственно в процесс взаимодействия с клиентами с использованием ИИ. В зависимости от контекста, вмешательство может включать в себя варианты взаимодействия с человеком, варианты предотвращения подобного контента в будущем или полномасштабный процесс обжалования.

Небрежность: как вы обеспечиваете безопасность и надежность вашего ИИ?

Принятие решений с помощью ИИ может привести к серьёзным проблемам с безопасностью, включая физические травмы. Чтобы контролировать системы ИИ в вашей организации, практика управления рисками моделей, основанная примерно на письме SR 11-7 от Федеральной резервной системы, является одной из наиболее проверенных систем для защиты прогностических моделей от сбоев в стабильности и производительности.

В более продвинутых системах ИИ многое может пойти не так. При создании систем автоматизации автономных транспортных средств или роботизированных процессов обязательно учитывайте методы зарождающейся дисциплины [безопасного и надёжного машинного обученияъ(https://arxiv.org/abs/1904.07204). Различные команды, включая экспертов в предметной области, должны продумать возможные инциденты, сравнить свои проекты с известными прошлыми инцидентами, задокументировать шаги, предпринятые для предотвращения таких инцидентов, и разработать планы реагирования, чтобы предотвратить выход неизбежных сбоев из-под контроля.

Прозрачность: можете ли вы объяснить, как ваша модель принимает решение?

Федеральный закон уже требует разъяснений по некоторым решениям о потребительском финансировании. Помимо соответствия нормативным требованиям, интерпретируемость системных механизмов ИИ обеспечивает доверие людей к этим высокоэффективным технологиям и их понимание, а также эффективное обращение за помощью и надлежащее документирование системы ИИ. За последние годы два многообещающих технологических подхода повысили интерпретируемость систем ИИ: интерпретируемые модели машинного обучения и послесобытийные объяснения. Интерпретируемые модели машинного обучения (например, объяснимые бустинги) – это алгоритмы, которые отличаются высокой точностью и прозрачностью. Послесобытийные пояснения (например, значения Шепли) представляют собой попытку обобщить механизмы и решения, принимаемые в рамках модели при машинном обучении. Эти два инструмента можно использовать вместе, чтобы повысить прозрачность вашего ИИ. Учитывая фундаментальную важность интерпретируемости и технологического процесса, направленного на достижение этой цели, неудивительно, что новые нормативные инициативы, такие как руководство FTC по ИИ и CPRA, ставят во главу угла как разъяснения на уровне потребителей, так и общую прозрачность систем ИИ.

Третьи стороны: зависит ли ваша система ИИ от сторонних инструментов, сервисов или персонала? Решают ли они эти вопросы?

Редко бывает, чтобы система ИИ создавалась полностью собственными силами, без зависимости от стороннего программного обеспечения, данных или консультантов. Когда вы используете эти сторонние ресурсы, ваша система ИИ подвергается риску со стороны третьих лиц. И, как гласит старая пословица, цепь прочна настолько, насколько прочно её самое слабое звено.^[1] Даже если ваша организация принимает все возможные меры предосторожности, в любых инцидентах, связанных с вашей системой ИИ, даже если они происходят по вине третьей стороны, на которую вы полагаетесь, потенциально можно обвинить вас. Поэтому важно обеспечить, чтобы все стороны, участвующие в разработке, внедрении, проверке или обслуживании ваших систем ИИ, соблюдали все применимые законы, политики и нормативные акты.

Прежде чем заключать договор с третьей стороной, необходимо провести комплексную проверку. Попросите третьи стороны предоставить документальные доказательства того, что они серьезно относятся к вопросам дискриминации, конфиденциальности, безопасности и прозрачности. И будьте внимательны к признакам небрежности, таким как некачественная документация, неустойчивая периодичность выпуска программного обеспечения, отсутствие гарантий или неоправданно широкие исключения из условий обслуживания или лицензионных соглашений с конечным пользователем (EULA). У вас также должны быть планы на случай непредвиденных обстоятельств, включая техническое резервирование, планы реагирования на инциденты и страховка, покрывающая зависимость от третьих лиц. Наконец, не стесняйтесь оценивать сторонних поставщиков по списку соответствия в рамках оценки рисков. Убедитесь, что эти оценки проводятся с течением времени, а не только в начале действия договора с третьей стороной. Хотя эти меры предосторожности могут привести к увеличению затрат и задержке внедрения ИИ в краткосрочной перспективе, они являются единственным способом постоянного снижения с течением времени рисков, связанных с третьими сторонами, в вашей системе.

Заглядывая в будущее

Несколько штатов США и федеральных агентств сообщили о своих намерениях относительно будущего регулирования ИИ. Три наиболее масштабных инициативы, о которых следует знать, включают Закон об алгоритмической подотчётности, руководство FTC по ИИ и CPRA. Разрабатываются многочисленные другие отраслевые руководящие документы, такие как предлагаемая Управлением по санитарному надзору за качеством пищевых продуктов и медикаментов (США) концепция использования ИИ в медицинских устройствах и программа по ИИ в индустрии ценных бумаг от Службы регулирования отрасли финансовых услуг (США). Более того, и другие страны подают пример для подражания американским политикам и регулирующим органам. Канада, Европейский союз, Сингапур и Соединённое Королевство, среди прочих, разработали или внедрили подробные правила для различных аспектов ИИ и автоматизированных систем принятия решений. В свете этого правительственного движения и растущего недоверия общественности и правительства к крупным технологиям сейчас самое подходящее время начать минимизировать риски для систем ИИ и подготовиться к будущему соблюдению нормативных требований.