
Искусственный интеллект в промышленности: страхование рисков
Около 39% крупных российских компаний уже внедрили искусственный интеллект (ИИ), а 90% активно используют отечественные цифровые разработки в своих бизнес-процессах — об этом свидетельствуют результаты опроса, проведённого Ассоциацией менеджеров России.
По мнению члена комитета Госдумы по информационной политике, информационным технологиям и связи Антона Немкина, развитие технологий искусственного интеллекта является одним из самых перспективных направлений в цифровизации промышленности на ближайшие 10 лет. В то же время депутат отметил, что на сегодняшний день применение ИИ практически не регулируется на законодательном уровне.
Вне правового поля
«Как такового определения искусственного интеллекта в российском законодательстве до сих пор нет, и это точно пора исправлять. Без определения, что такое ИИ, на уровне федерального законодательства нам в том числе сложно бороться и с мошенническими схемами с использованием ИИ, которые уже реализуются. А это уже прямая угроза нашим гражданам, чего мы допустить не можем», — добавил Антон Немкин.
Аналитики консалтинговой компании «Яков и Партнёры» и Альянса в сфере искусственного интеллекта определили наиболее благоприятные страны для развития технологий генеративного ИИ. По итогам анализа они распределили их по нескольким группам в зависимости от уровня зрелости нормативной базы и степени свободы для компаний-разработчиков. Россия вошла в группу лидеров наряду с США, Израилем, Сингапуром и ОАЭ. В этих странах, по мнению исследователей, созданы наиболее благоприятные условия, способствующие развитию ИИ и привлечению инвестиций.
При этом аналитики уточнили, что ни в одной из стран мира нормативно-правовая база не покрывает весь жизненный цикл сервисов на основе генеративного ИИ: от разработки и обучения моделей до использования конечных ответов. Это обусловлено тем, что нет общепринятых правил смягчения рисков, поэтому страны постепенно вводят и тестируют требования на тех этапах, которые считают для себя рисковыми.
В декабре 2023 года Минэкономразвития РФ сообщило о разработке механизма защиты от вреда, причинённого искусственным интеллектом. Поправки, внесённые в закон «Об экспериментальных правовых режимах в сфере цифровых инноваций», обязывают участников таких режимов оформлять страхование, предусматривающее ответственность за негативные эффекты от применения ИИ. Субъекты экспериментального правового режима будут обязаны вести реестр лиц, вступивших с ними в правоотношения, с указанием ответственных за использование решений на базе искусственного интеллекта.
Кроме того, компании также будут вести реестр результатов интеллектуальной деятельности, созданных с применением ИИ, с указанием их правообладателя. В нём будет отображаться информация о лицах, непосредственно работающих с технологиями искусственного интеллекта, которые «в случае возникновения нештатных ситуаций будут нести ответственность за неправильную эксплуатацию таких технологий», как сказано в сопроводительных материалах к поправкам в закон.
Кроме того, участникам ЭПР предстоит страховать гражданскую ответственность за причинение вреда жизни, здоровью или имуществу других лиц в результате использования ИИ. Программа экспериментального режима должна будет содержать требования к условиям такого страхования, включая минимальный размер страховой суммы, перечень рисков и страховых случаев.
«Принятие такого закона — правильная мера. Идея проста: если ИИ, работающий в рамках экспериментальных правовых режимов, что‑то натворит, урон будет компенсирован. В итоге это важный шаг к установлению порядка в условиях полного хаоса внедрений. Он поможет защитить бизнес и производителей, повысить безопасность и эффективность производственных процессов, создать условия для более уверенного и ответственного использования ИИ в промышленности. Но будет ли страхование обязательным для всех, кто применяет решения на базе искусственного интеллекта, а не только в рамках ЭПР?» — задаётся вопросом основатель ООО «Альянс Перспективных Технологий» Ильдар Саттаров.
Директор по продукту (СРО) и профессор IT-MBA, советник по экономике и социологии Российской академии естественных наук Антон Баланов считает целесообразным обязательное страхование вреда, причинённого искусственным интеллектом, в рамках экспериментальных правовых режимов. По его мнению, это может стать важным механизмом управления рисками и повышения доверия к использованию ИИ-технологий.
А в перспективе, по мере накопления опыта и оценки эффективности, такое страхование распространится и на других пользователей ИИ. Это будет зависеть от оценки рисков и масштабов применения технологии, полагает эксперт.
Начальник отдела цифрового моделирования продаж ООО «ИБС Экспертиза» (группа компаний IBS) Андрей Никитин напомнил, что при использовании любого традиционного или инновационного инструмента неизбежно возникают риски негативных последствий. Продукты на базе ИИ не являются исключением.
«Сегодня ни один разработчик не может заявлять о 100% точности работы ИИ-алгоритмов, из чего следует, что искусственный интеллект может ошибаться. Поэтому подобное переосмысление подходов к страхованию возможных ущербов выглядит закономерно. Говорить о том, станет ли обязательным страхование за рамками ЭПР, пока рано. Безусловно, будет получен ценный опыт и фидбек от участников этих режимов, который должен быть учтён при формировании и принятии новых правовых инициатив.
Однако доверие к ИИ-системам должно строиться не на возможности застраховаться от ущербов, а на прозрачности и понимании работы искусственного интеллекта. Когда на достаточный уровень выйдут методики по интерпретации моделей и алгоритмы перестанут быть „чёрными ящиками”, тогда доверие к ИИ значительно возрастёт», — убеждён Андрей Никитин.
Страхование — тоже риск
Сооснователь и генеральный директор OOO «НейроИнститут» Анна Дудник, в свою очередь, напомнила, что ранее страхование рисков в ЭПР носило добровольный характер. Принятие поправок в закон, по её мнению, можно рассматривать как важный шаг в регулировании рисков, связанных с применением ИИ.
«Обязательное страхование позволит обеспечить защиту интересов потенциальных пострадавших и создать механизм компенсации возможного ущерба. Однако возникает вопрос о целесообразности его распространения на всех пользователей ИИ в промышленности. Это может оказать двоякое влияние на развитие и внедрение технологий в отрасли», — отметила Анна Дудник.
В числе положительных аспектов она назвала повышение доверия предприятий к технологии за счёт наличия механизма компенсации возможного ущерба, стимулирование более ответственного подхода к разработке и внедрению ИИ-систем, а также создание дополнительных гарантий для инвесторов, что может привлечь дополнительные средства в отрасль.
В то же время возможны и негативные последствия: увеличение финансовой нагрузки на предприятия (особенно малый и средний бизнес), замедление темпов внедрения ИИ из-за необходимости проходить дополнительные процедуры страхования, риск формального подхода к страхованию без реального повышения безопасности систем.
Принятие закона о страховании — важный этап в повышении ответственности и безопасности использования нейросетей на производстве, считает управляющий партнёр ООО «Райтек ДТГ» Евгений Вергазов. По его мнению, это позволит минимизировать финансовые риски и защитить пострадавших, что для промышленности, как отрасли с повышенным уровнем риска, особенно важно.
Если же подобное страхование станет обязательным для всех пользователей ИИ, это усилит общую защиту и контроль над использованием нейросетей. Кроме того, наличие страховой защиты может стать фактором, который стимулирует компании инвестировать в ИИ, ведь в случае возникновения инцидента все риски будут застрахованы.
«Помимо этого, обязательное страхование может стать стандартом, если его преимущества будут очевидны и докажут свою эффективность в рамках ЭПР. Это, в свою очередь, создаст стимулы для компаний более ответственно подходить к внедрению и эксплуатации ИИ, осознавать возможные последствия и финансовые обязательства в случае причинения вреда», — рассуждает Евгений Вергазов.
Антон Баланов не исключает вероятности того, что начальном этапе введение страхования несколько замедлит внедрение ИИ в рамках экспериментальных правовых режимов, так как потребует дополнительных затрат и усилий по оценке рисков. Однако в долгосрочной перспективе оно будет способствовать повышению доверия к использованию искусственного интеллекта, так как обеспечит защиту предприятий и пострадавших сторон. Кроме того, по мнению советника РАЕН, опыт работы в рамках ЭПР поможет выработать оптимальные подходы к страхованию, что в дальнейшем облегчит распространение этой практики.
Ильдар Саттаров считает, что дополнительные затраты и бюрократия могут стать преградой для распространения ИИ в промышленности, поскольку это усложнит и без того непростые закупочные процедуры. С другой стороны, страховая защита может способствовать повышению уровня доверия к технологии: компании будут увереннее внедрять ИИ, зная, что они защищены в случае непредвиденных обстоятельств. Вопрос в том, готовы ли страховщики участвовать в этом процессе?
«Страховой рынок начал предлагать новые продукты, которые дают возможность страховать ущерб, вызванный недоступностью IT-систем из-за DDoS-атаки. Также объектами страхования теперь стали расходы, такие как затраты на внутреннее расследование киберпроисшествий», — отметил генеральный директор ООО «НПО ЛАБС» Артём Сеник.
Позицию страховых организаций выказали в АО «СОГАЗ». Представители компании пояснили, что страхование ответственности при использовании ИИ, по сути, является частью страхования от киберугроз, которое позволяет страхователю минимизировать последствия при реализации рисков, связанных с использованием в своём производстве информационных систем.
«С появлением новых технологий в сфере информации и автоматизации, а также с повышением степени их проникновения во все отрасли экономики растёт и потребность в защите от рисков, связанных с ними. Основным драйвером данного вида страхования является постоянно увеличение участия информационных систем в бизнес-процессах компаний, рост их автономности и повышение уровня решаемых задач. В такой модели роль киберстрахования возрастает, поскольку контролировать убытки, вызванные нарушениями в работе информационных систем, становится всё сложнее.
Соответственно, в реалиях санкций и технических ограничений растут и потребности компаний в страховании киберрисков. Однако на сегодняшний день мы пока не видим широкого спроса конкретно на страхование рисков, связанных с ИИ. Можно ожидать, что вместе расширением использования технологий ИИ в производственных и хозяйственных процессах компаний будет возникать и спрос на включение данных рисков в страховое покрытие», — рассказали в «СОГАЗе».
В поисках виновного
Ситуацию со страхованием рисков осложняет ещё и отсутствие понимания, с кого получать компенсацию в случае возникновения чрезвычайной ситуации по вине искусственного интеллекта. Предполагается, что решать это будет комиссия по выявлению обстоятельств, в результате которых был причинён вред.
«Ответственность за вред, причинённый ИИ, может распределяться между несколькими сторонами. Разработчик ИИ-системы несёт ответственность за недостатки в алгоритмах, обучении модели, обеспечении безопасности. Интегратор, внедряющий ИИ-систему, отвечает за правильность её настройки и эксплуатации. Пользователь (промышленное предприятие) должен обеспечивать соблюдение требований безопасности, контроль за работой системы», — пояснил Антон Баланов.
Евгений Вергазов также высказался в пользу такого подхода. По его мнению, критерии для выявления ответственной стороны могут включать анализ кода и логов ИИ-системы, проверку условий эксплуатации, оценку соответствия инструкциям и техническим стандартам, а также экспертизу независимых специалистов.
С точки зрения Антона Баланова, комиссии следует провести анализ технической документации и журналов работы ИИ-системы, оценку квалификации и действий задействованного персонала, а также экспертизу причин и обстоятельств возникновения инцидента. Расчёт размера ущерба должен производиться на основе медицинских заключений и стоимости ремонта или замены повреждённого имущества.
В дополнение к этому Анна Дудник порекомендовала также изучить процесс внедрения и настройки системы, проверить соблюдение персоналом инструкции по эксплуатации системы на базе ИИ. А при определении размера страховой выплаты, помимо фактического материального ущерба и затрат на восстановление здоровья пострадавших сотрудников, учесть потенциальные убытки от простоя производства и потери репутации.
«Каждый случай уникален, поэтому члены комиссий должны учитывать всё: от технических параметров системы до условий эксплуатации и результатов тестирования. Оценка масштаба ущерба и размера страховой выплаты тоже должна быть комплексной. Требуется система надёжного механического страхования», — подтверждает Ильдар Саттаров.
По опыту Андрея Никитина, большая часть ИИ-решений, внедряемых в промышленности, представляет собой системы-советчики, которые предназначены для выдачи рекомендаций по технологическому процессу. Ответственность за использование этих рекомендаций возложена на пользователя.
Однако есть примеры, когда ИИ напрямую управляет технологическим процессом или отдельными агрегатами на производстве, и валидация решений искусственного интеллекта человеком не происходит. Кто несёт ответственность за неверные решения ИИ в таком случае? Это сложный этический вопрос, считает начальник отдела цифрового моделирования продаж ГК IBS. Именно поэтому для выявления всех обстоятельств инцидента требуются компетентные комиссии.
Опасные инновации
Хотя случаи серьёзного ущерба от применения ИИ в промышленности пока редки, некоторые инциденты уже имели место. Анна Дудник напомнила, что в 2021 году на заводе Tesla в США робот, управляемый искусственным интеллектом, травмировал инженера во время технического обслуживания. А в 2022 году на одном из российских нефтеперерабатывающих заводов ошибка в системе предиктивного обслуживания привела к незапланированной остановке производства и финансовым потерям. По словам главы «НейроИнститута», также случаи подчёркивают важность тщательного тестирования ИИ-систем и страхования рисков.
Евгений Вергазов вспомнил о ещё более раннем инциденте: в 2018 году на одном из заводов в Германии произошла авария из-за сбоя в автоматизированной системе управления, что привело к повреждению оборудования и остановке производства. Антон Баланов, в свою очередь, привёл примеры из недавнего прошлого: в 2023 году на металлургическом заводе в Магнитогорске произошёл сбой в работе ИИ-системы, отвечающей за контроль качества продукции.
В результате были выпущены партии некачественной стали, что привело к поломке оборудования на предприятиях-потребителях. Общий ущерб составил около 50 млн рублей. После разбирательства комиссия возложила ответственность на интегратора, который был признан виновным в некорректной настройке алгоритмов.
А уже в текущем году на химическом заводе в Казани ИИ-система, управляющая технологическим процессом, допустила ошибку, что вызвало выброс вредных веществ. В результате пострадали 12 рабочих, двое из них получили тяжёлые травмы. Экспертиза показала, что причиной стали недостатки в обучении нейронной сети, допущенные разработчиком. Страховая компания выплатила пострадавшим около 15 млн рублей.
«Эти примеры демонстрируют важность наличия страховых механизмов при внедрении ИИ в промышленности. Они способствуют более ответственному подходу всех участников к обеспечению безопасности применения данных технологий», — убеждён Антон Баланов.
Возможные риски
Вернёмся к исследованию, которое провели «Яков и Партнёры» и Альянс в сфере искусственного интеллекта. Аналитики изучили произошедшие в мире инциденты с участием генеративного ИИ и выделили пять самых релевантных рисков, связанных с развитием этой технологии: рост объёма некачественно сгенерированного контента, потенциальный вред от ложных ответов ИИ, негативное влияние на рынок труда, цифровое мошенничество и нарушение этических норм.
Авторы исследования отметили, что большинство этих рисков можно минимизировать за счёт маркировки контента, в том числе скрытой, создания проверочных сервисов и ответственного отношения к работе с технологией.
Напомним, речь идёт о генеративном искусственном интеллекте, который применяют для создания нового контента на базе имеющихся данных. Однако в промышленности ИИ чаще всего используют для полной автоматизации и роботизации производственного цикла, моделирования различных промышленных условий и прогнозирования возможных инцидентов.
Соответственно, и риски здесь другие. Антон Баланов перечислил некоторые из них: нанесение вреда жизни и здоровью людей (работников предприятия, потребителей продукции) в результате ошибок или сбоев в работе ИИ-систем, имущественный ущерб (например, в случае выхода из строя оборудования или брака продукции), нарушение прав интеллектуальной собственности, утечка конфиденциальной информации и репутационные риски.
«Применение ИИ в разрезе в промышленности имеет измеримый эффект. Мы видим влияние машинного обучения на такие показатели, как увеличение производительности, снижение затрат и уменьшения расхода сырья. Многое из этого достигается за счёт точности, которой не обладают аналитические модели и другие инструменты.
Если мы говорим о крупном промышленном кластере, то оптимизация производственных процессов даже на 2–3% может существенно изменить текущую экономику предприятия вследствие снижения затрат. Важно, что решения на основе ИИ можно адаптировать почти к любому производственному процессу.
С другой стороны, использование технологий на основе ИИ сопряжено с определёнными рисками, которые условно можно разбить на группы. Первая связана с безопасностью и конфиденциальностью данных. В контексте машинного обучения эта проблема является достаточно острой для бизнеса, учитывая высокую конкуренцию в некоторых отраслях промышленности. Вторая группа рисков обусловлена взаимодействием работников с робототехническими технологиями. В 2023 году мы узнали о смерти мужчины от робота на одном из агропромышленных холдингов в Южной Корее. (Об этом инциденте, а также о рисках применения роботизированных решений на производстве мы писали в предыдущем номере журнала, — прим. ред.)
Подобные случаи были зафиксированы и ранее. Во всех ситуациях оборудование проходило тщательное тестирование и на протяжении нескольких лет работало корректно. Что именно провоцирует сбои, непонятно. Ясно одно: даже единичные случаи смерти человека от робота делают приоритетным решение вопроса безопасности применения технологий. Фактически любой, даже незначительный сбой может привести к печальным последствиям.
Эксперты полагают, что решение данной проблемы должно лежать в плоскости минимизации сочетания роботизированного и ручного труда. То есть промышленность должна делать ставку на полностью автономные RPA (Robotic Process Automation). Но, как показывает практика, далеко не во всех случаях это возможно. К тому же полная автоматизация — это достаточно дорогостоящий процесс, требующий значительных затрат в рамках инвестиционной программы», — рассказал основатель и СЕО проекта BotB2B Виктор Попов.
В числе рисков, с которыми могут столкнуться промышленники при использовании ИИ, Евгений Вергазов, во‑первых, назвал технические проблемы — программные ошибки или аппаратные сбои, которые могут привести к авариям и повреждениям оборудования. Во-вторых, ИИ-системы могут стать целью хакеров, что приведёт к утечке данных или манипуляциям с промышленными процессами.
В-третьих, неправильное функционирование алгоритмов ИИ может привести к неверным решениям, что, в свою очередь, вызовет аварийные ситуации на производстве. И, наконец, достаточно высоки так называемые этические риски: ИИ может принимать решения, противоречащие этическим нормам и стандартам компании.
«Помимо этого, использование ИИ может стать причиной нанесения вреда жизни и здоровью человека. Например, в случае применения автоматизированных систем управления ошибка в работе нейросетей может привести к аварии, что создаст опасность как для работников, так и для всех окружающих. Поэтому данные риски и ответственность за их наступление должно прозрачно регулировать законодательство», — подчеркнул управляющий партнёр ООО «Райтек ДТГ».
Анна Дудник подтверждает, что внедрение ИИ-технологий открывает широкие возможности для оптимизации процессов, повышения эффективности и конкурентоспособности предприятий. Однако вместе с преимуществами ИИ несёт и определённые риски, что вызывает необходимость разработки механизмов их минимизации и страхования.
По опыту сооснователя «НейроИнститута», в число потенциальных рисков входят уже упомянутые технические сбои и ошибки, которые могут привести к остановке производства, выпуску бракованной продукции или даже аварийным ситуациям, а также угроза утечки данных в результате хакерских атак и финансовые потери из-за ошибок в работе ИИ-систем, используемых для принятия важных управленческих решений.
Кроме того, применение искусственного интеллекта для мониторинга сотрудников может нарушать их право на неприкосновенность частной жизни. Также внедрение ИИ может привести к сокращению рабочих мест, что создаст социальную напряжённость. Наконец, чрезмерная автоматизация может стать причиной утраты персоналом важных навыков.
«Необходимо отметить социальные риски, угрозы в части кибербезопасности и технологические риски, приводящие к нештатным ситуациям на производстве. Для оценки потенциальных ущербов следует конкретизировать, какие права на производстве выданы ИИ-системе, какая роль отведена оператору и какова специфика производства.
К сожалению, никто и ничто не застраховано от ошибок на 100%, но цена этих ошибок может быть очень разной. Сегодня производству нужны решения на базе ИИ-систем, удовлетворяющие высоким требованиям безопасности и эффективности. И, конечно, разработчики стремятся к этому», — отмечает Андрей Никитин.
Артём Сеник призвал промышленников не забывать о том, что на данный момент технология искусственного интеллекта ограничена, хотя с выполнением рутинных задач справляется хорошо. Алгоритмы ИИ-систем обучены на основе больших массивов данных и работают только в уже запрограммированных условиях. Шаг вправо или влево чреват нештатной работой. И тут в зависимости от характера производства и задач, которые выполняет ИИ, можно говорить о серьёзном ущербе и рисках для здоровья работников.
«Заменить человека на 100% искусственный интеллект едва ли сможет. Тем более что работать в команде и общаться с клиентами он пока не умеет. Эмоции тоже не по его части. Потому он не всегда будет способен понять ситуацию, в которой имеет место эмоциональная составляющая. Он не адаптируется к изменяющимся условиям работы, а значит, не будет „универсальным солдатом”, какими может быть человек.
Но мы видим, как на российском рынке в последнее время активно создают и продвигают системы мониторинга станков и управления производством. Аппаратно-программные решения призваны помочь организовать наиболее эффективную систему управления заводом. Они же помогают и собрать достаточное количество информации для обучения ИИ. А тот в дальнейшем сможет анализировать процессы, прогнозировать, помогать в принятии решений.
Однако ИИ может сыграть злую шутку при его внедрении в производство. Для критической инфраструктуры это достаточно опасно, поскольку речь может идти о киберугрозах. Если мы говорим о крупном предприятии, то такая нештатная ситуация повлечёт за собой крупные убытки.
А если речь идёт о стратегически важном объекте, то утечь могут данные, которые составляют гостайну. На предприятиях возможны и диверсии. Если удалённо будет поставлен вредоносный софт, то завод может остановиться, а его компоненты — выйти из строя», — перечислили риски генеральный директор «НПО ЛАБС».
ИИ — это огромные возможности, а значит, и огромная ответственность, акцентирует Артём Сеник. Поэтому сегодня, когда наступает эпоха цифровой трансформации, компании должны особенно внимательно относиться к вопросу кибербезопасности. Бизнес-модель меняется повсеместно, текущие процессы компании оцифровываются, совершается переход на data-driven модель управления бизнесом.
«Мы отказываемся от условных деревянных счётов и начинаем по-настоящему беречь своё время, привыкаем глубоко анализировать сразу множество параметров и персонализировать ценообразование в зависимости от поведения клиента или заказчика. Что касается промышленности, то применение искусственного интеллекта на предприятиях будет полезно в комплексе с аппаратными решениями. Но он не должен рассматриваться как замена человеку», — резюмирует Артём Сеник.
Текст: Мария Кармакова. Фотоматериалы: freepik.com