Искусственный интеллект в промышленности: правовые вызовы и угроза неконтролируемого интеллекта

Искусственный интеллект (ИИ) перестал быть только «помощником» в офисных задачах и активно внедряется в производственные процессы. Он управляет производственными потоками на заводах, прогнозирует аварии, рассчитывает логистику и участвует в проектировании новых материалов.

Пока растёт эффективность технологии, у общественности появляется всё больше вопросов о рисках. Эту тему мы уже поднимали в прошлом году в статье «Искусственный интеллект в промышленности: страхование рисков». А в 2025-м её не обошли стороной участники конференции «Форсайт 2100: ценности, возможности и риски развития в многополярном мире наукоёмких технологий и искусственного интеллекта», которая состоялась в рамках ПМЭФ-2025.

Разберёмся, как механизмы правового регулирования привести в соответствие с уровнем развития технологий и возможно ли предотвратить сценарий, при котором ИИ выйдет из-под контроля.

Правовые пробелы: кто отвечает за решения ИИ?

Один из ключевых вопросов, поднятых на конференции, звучал так: если искусственный интеллект принимает решение, приводящее к аварии или ущербу, кто несёт ответственность? Сегодня российское право на него ответа не даёт.  Председатель совета Центра моделирования будущего в образовании, экономике и социально-гуманитарной сфере Ирина Осокина напомнила, что «право всегда догоняет технологию», и в случае с ИИ этот разрыв становится критическим.

В промышленности ИИ уже активно участвует в принятии важных решений. Алгоритмы управляют технологическими процессами, регулируют поставки сырья и энергопотребление. Если система допустит ошибку и, к примеру, даст неверный сигнал о состоянии оборудования, это может привести к остановке целого производства или даже к техногенной катастрофе. Однако в отличие от ситуации с человеком-оператором, для таких случаев в правовом поле нет ясности: обвинить алгоритм нельзя, а ответственность производителя ПО и владельца предприятия часто размыта. 

Подходы к регулированию уже можно наблюдать в международной практике. Так, в августе 2025 года в ЕС вступил в силу AI Act — закон, который классифицирует системы ИИ по уровням риска. С его принятием появится обязательная сертификация алгоритмов, которые применяются в «высокорисковых» сферах, в том числе в промышленности.

В США подход пока более мягкий. Там активно развивают добровольные стандарты и кодексы этики, которые предполагают ответственность компаний за работу их ИИ-систем.

Китай вовсе пошёл по пути жёсткого контроля — в стране требуют ввести обязательную регистрацию всех алгоритмов, которые используют персональные или промышленные данные. Российские власти пока ограничились точечными нормативами и пилотными проектами — комплексного закона нет.

Своего рода дорожной картой для развития ИИ в стране стал указ Президента 2019 года. В приоритете — технологический суверенитет и интеграция ИИ в экономику и госуправление.

В основу документа легли экспериментальные правовые режимы (ЭПР), которые с 2020 по 2022 годы фактически создавали «регуляторные песочницы» для тестирования ИИ. Эти зоны позволяли компаниям проверять технологии с минимальной бюрократией, что было особенно важно для стартапов и новых проектов.

К концу 2024 года концепцию регулирования ИИ обновили: на горизонте 2025–2030 годов в планах — внедрение чётких правил для образования, медицины и  других сфер, где ИИ влияет на людей напрямую. Основные ориентиры — человекоцентричность, технологическая безопасность, прозрачность решений и персональная ответственность разработчиков. По задумке властей, такой поход должен не только стимулировать инновации, но и защищать граждан.

Также с 2021 года в России действует кодекс этики ИИ. Его сформировали участники Альянса ИИ, представители госструктур и отраслевые кооперации. С помощью кодекса они рассчитывали защитить права человека, увеличить прозрачность работы алгоритмов и личную ответственность разработчиков за результат. К сегодняшнему дню документ подписали уже около 247 организаций, включая таких гигантов, как Сбер, Яндекс и МТС.

При этом власти подчёркивают: пока преждевременно вводить жёсткое регулирование — ставка делается на гибкость и поддержку инноваций.

Тем временем ректор Университета Иннополис и руководитель лаборатории математических основ оптимизации Московского физико-технического института Александр Гасников в рамках конференции отметил, что законодательство по регулированию ИИ отстаёт не на годы, а на десятилетия. Пока в России только обсуждают, как подойти к технологиям с точки зрения права, те уже в полной мере управляют заводами. 

Исходя из его слов, можно прийти к выводу, что промышленность развивается быстрее государственных мер. Заводы уже используют ИИ для анализа данных, прогнозирования аварий и планирования производства, но правовая база «застряла» на уровне общих рассуждений о цифровизации. 

Это создаёт двоякую ситуацию для промышленных предприятий. С одной стороны, ИИ позволяет повышать эффективность и снижать издержки. С другой — любой серьёзный сбой грозит судебными исками, где ответственность будет нести компания, даже если ошибка вызвана алгоритмом. 

По сути, бизнес берёт на себя риски за систему, которую он не может полностью контролировать. Это главный вызов правовой сфере: успеть создать правила до того, как первый масштабный промышленный конфликт с участием ИИ станет реальностью.

Риски неуправляемого ИИ: от утечки данных до угрозы безопасности

Также эксперты поднимают проблему возможной потери контроля над ИИ-системами в промышленности. Так, публицист и депутат ГД Анатолий Вассерман выразил это предельно жёстко. По его мнению, любая достаточно развитая система рано или поздно станет похожей на живой организм. Вопрос в том, получится ли её контролировать. Этот тезис вызвал бурную реакцию в зале, потому что промышленные компании всё чаще доверяют алгоритмам процессы, которые напрямую затрагивают безопасность людей.

Конечно, в случае возникновения ошибок в работе ИИ-систем большое значение имеет правовая часть, но ещё важнее вопрос: что делать, если алгоритм будет намеренно искажён злоумышленниками? По словам экспертов, если распространённые хакерские атаки на предприятия будут использовать уязвимость искусственного интеллекта, то последствия могут оказаться куда серьёзнее обычного сбоя.

Отдельно поднимается вопрос утечки данных. Алгоритмы в промышленности работают не в вакууме, они обрабатывают данные о производственных процессах, проектную документацию, персональные сведения сотрудников. В случае компрометации такие данные могут попасть к конкурентам или за границу. 

Эксперты подчёркивают, что, в отличие от классических баз данных, ИИ способен не просто хранить информацию, но и анализировать её и делать выводы. Поэтому утечка обученной модели — это утечка знаний предприятия, а не просто файлов.

Также спикеры конференции обсудили более фантастические сценарии развития ИИ. Например, возможность того, что в критических отраслях технология начнёт принимать решения, которые человек не сможет объяснить или предсказать. Такие «чёрные ящики» уже сегодня создают проблемы: инженеры получают решение от алгоритма, но не понимают, на каких основаниях оно сформировано.

Таким образом, риски применения ИИ в промышленности носят комплексный характер. Это и банальные сбои в управлении, и целенаправленные кибератаки, и стратегические угрозы вроде утраты контроля над критической инфраструктурой. Пока такие сценарии обсуждаются на уровне экспертов и футурологов, но распространение ИИ на производствах делает их всё более реальными.

Этика и новые горизонты: где заканчивается инструмент и начинается субъект

Особый интерес экспертов вызывает тема этики применения ИИ. На первый взгляд, вопросы, связанные с биотехнологиями, работой с генетическим материалом или цифровыми двойниками человека, кажутся далёкими от промышленности. Однако на деле связь прямая: ИИ уже используют для анализа медицинских данных, разработки лекарств, синтеза новых материалов и биоинженерных решений.

Спикеры признают, что теоретически мы можем оказаться в ситуации, когда алгоритмы начнут принимать решения не только за инженеров, но и за врачей, да и за человечество в целом. Такой сценарий ставит фундаментальный вопрос: где проходит граница между ИИ-инструментом и ИИ-субъектом?

Этическая дилемма промышленности формулируется просто: алгоритмы остаются инструментом или становятся полноценными участниками процесса? Ответ на этот вопрос определит будущее взаимодействия человека и машины в критически важных сферах, от производства до здравоохранения.

Кроме того, эксперты не обходят вниманием и влияние ИИ на профессиональную этику. Если алгоритм принимает решения быстрее и точнее человека, изменится ли роль специалистов в производственных процессах? Не превратятся ли инженеры и врачи из активных участников в наблюдателей?

Вопрос этики здесь не абстрактен — он напрямую связан с безопасностью и доверием общества к технологиям. Эксперты пока затрудняются в поиске ответа на него.

Мнения экспертов: скептики и оптимисты

Своими точками зрения участники конференции разделились на два лагеря. Скептики, в числе которых г-н Вассерман, предупреждают о высокой вероятности выхода ИИ из-под контроля. Они указывают на примеры, когда алгоритмы начинают работать по собственной логике, непредсказуемой для разработчиков.

Оптимисты, в том числе г-жа Осокина, уверены, что правильное регулирование и сертификация промышленных ИИ-систем помогут минимизировать риски. Эксперты предлагают постепенно внедрять алгоритмы в производственные процессы, тестировать и обучать их под строгим контролем, чтобы ошибки не имели критических последствий.

В остальном же спикеры сходятся во мнении, что важно гармонично объединить технические меры с человеческим контролем. Ведь даже самые сложные алгоритмы не заменят опытных профессионалов.