Безопасная автоматизация: где провести черту во внедрении ИИ на предприятии

В материале «Трендовый инструмент: нужен ли ИИ на производстве?» мы обсудили с экспертами целесообразность внедрения ИИ-решений на предприятия. Игроки отрасли в большинстве своём сошлись на том, что эти технологии не являются безусловной необходимостью для производственных процессов. Однако при грамотном подходе и детальных расчётах ИИ делает промышленность более эффективной.

Тем не менее бытует мнение, что, даже приняв взвешенное решение о внедрении, полагаться на ИИ целиком и полностью не стоит. Вдруг технология начнёт действовать в своих интересах? Что, если машинный интеллект перейдёт на сторону конкурентов? Где гарантии, что ИИ не станет проводником к конфиденциальным данным для киберпреступников? Кроме того, рабочие переживают, что «разумные» технологии отнимут у них хлеб.

На этот раз редакция indpages.ru обратилась к экспертам с вопросом о том, есть ли грань, за которую не стоит пускать ИИ в рамках производства?

Ключевые риски полной автоматизации

Можно ли доверить искусственному интеллекту полное управление производством?

По мнению СЕО «Облакотека» Максима Захаренко, ИИ далёк от идеала, поскольку он обучается на данных, которые могут быть неполными, устаревшими или предвзятыми. Он считает, что в этом кроется основная сложность перекладывания ответственности на технологию.

«Если слишком доверять ИИ, возможны ошибки в принятии решений, а это недопустимо. Особенно для сфер безопасности, контроля качества, финансов. Даже сами разработчики иногда не могут объяснить, почему технология приняла то или иное решение.

Эти проблемы с прозрачностью неизменно сопровождают любое внедрение ИИ. А значит, если возникнут ошибки, их будет сложнее выявить и исправить», — объяснил эксперт.

Один из ключевых рисков полной автоматизации с использованием ИИ, по мнению основателя компании «Юнисофт» Алексея Оносова, особенно ярко продемонстрировал случай с хедж-фондом Рэя Далио — Bridgewater Associates.

«Его система Pure Alpha, основанная на алгоритмах машинного обучения, показала впечатляющие результаты в стабильных рыночных условиях. Однако, когда рынки столкнулись с беспрецедентной волатильностью, ИИ продолжал принимать решения на основе исторических паттернов, которые внезапно перестали работать. В критический момент алгоритм принял серию катастрофически неверных торговых решений, что привело к миллиардным убыткам», — рассказал г-н Оносов.

Чтобы снизить эти риски, важно не просто внедрить искусственный интеллект и надеяться на лучшее, а создать механизм контроля, отмечает спикер. Этот комплекс включает регулярный аудит алгоритмов и механизмы «человеческого надзора», которые позволят оспорить и пересмотреть решения, принятые ИИ.

Директор департамента «Горная добыча и металлургия» «Рексофт» Дмитрий Карамышев отмечает следующие риски полной автоматизации бизнес-процессов:

• технологические;
• операционные;
• кибербезопасности;
• управляемости системы.

Технологические риски связаны с зависимостью от алгоритмов: ИИ, особенно сложные модели, не всегда предсказуем, а ошибки в данных или обучении могут привести к массовым погрешностям в принятии решений.

Операционные риски возникают из-за возможных сбоев системы, где полная зависимость от ИИ способна вызвать каскадные ошибки при багах или изменениях входных данных, говорит г-н Карамышев. Для снижения этих рисков важно внедрять контроль качества данных, использовать гибридные модели с проверкой критических решений человеком, сохранять резервные процессы и настраивать алгоритмы самопроверки.

«Кибербезопасность становится уязвимой при росте автоматизации, особенно когда речь идёт об интеграции с внешними сервисами или IoT-устройствами. Поэтому защита должна быть многоуровневой: от контроля доступа и шифрования до мониторинга аномалий в работе программы. 

Управляемость также критична: автоматизация может превратить технологию в “чёрный ящик”, лишая сотрудников понимания процессов. Чтобы этого избежать, важно сохранять экспертизу в команде, обучать персонал и проектировать систему с возможностью ручного вмешательства», — добавил эксперт.

Другой эксперт рынка — директор департамента по работе с промышленным сектором Группы Arenadata Максим Власюк — считает, что полная автоматизация бизнес-процессов с помощью ИИ пока остаётся скорее гипотетической возможностью, чем реальной стратегией. 

Это как раз связано с тем, что применение технологии в её текущем виде сопровождается потенциальными угрозами для предприятия.

«Главный риск заключается в том, что автоматизированные решения пока не обладают достаточной автономностью и гибкостью, чтобы адаптироваться к нестандартным ситуациям. Внедрение ИИ происходит точечно, поскольку компании не готовы полагаться исключительно на алгоритмы», — рассказал г-н Власюк.

Аналогичное мнение высказал основатель компании Netrack Алексей Рубаков. Он считает, что полная автоматизация предприятия с помощью ИИ-технологии невозможна, поскольку она приведёт к ошибочным решениям, уязвимостям в кибербезопасности и стабильности бизнес-процессов.

Чтобы избежать этих неприятностей, компании внедряют механизмы человеческого надзора, создают системы резервного управления и проводят аудит надёжности алгоритмов. Причём ключевым фактором остаётся участие человека.

Когда проводить оценку безопасности

Даже если ИИ ещё не полностью владеет предприятием, крайне необходимо регулярно проверять уровень безопасности процессов. Эксперты уверены, что провести такой аудит нужно на всех этапах внедрения ИИ: начиная от разработки концепции и заканчивая эксплуатацией.

«Защищённость важна как при тестировании, когда выявляются возможные уязвимости, так и при эксплуатации, поскольку угрозы постоянно эволюционируют. Если не уделить должного внимания этим аспектам, ИИ станет уязвимым для атак, ошибок или некорректных решений, что приведёт к серьёзным последствиям для бизнеса», — поделился мнением Максим Власюк.

«Таким образом, можно снизить риск возникновения серьёзных проблем в результате ошибок. Например, многие предприятия сегодня автоматизируют логистику, что является распространённым трендом. Однако, чтобы получить пользу от этой автоматизации, важно заранее проверить, как ИИ будет действовать в нестандартных ситуациях. Это позволит избежать реальных проблем, которые могут возникнуть в будущем», — отмечает г-н Захаренко.

Алексей Оносов, в свою очередь, считает, что для определения оптимального уровня автоматизации на конкретном предприятии необходимо проводить комплексный анализ бизнес-процессов с учётом их критичности, предсказуемости и цены ошибки.

«Прежде всего стоит классифицировать процессы по степени их влияния на ключевую деятельность компании. Процессы с высокой предсказуемостью и низкой ценой ошибки (например, рутинная обработка документов) поддаются автоматизации практически полностью. Задачи с высокой ценой ошибки (стратегические решения, крупные финансовые транзакции) следует автоматизировать с обязательным человеческим контролем.

Для процессов со средней критичностью эффективен подход постепенной автоматизации: сначала ИИ работает как советник для человека, затем, по мере накопления успешного опыта, уровень автономности повышается», — объяснил эксперт.

Как определить оптимальный уровень автоматизации?

Из экспертных мнений становится понятно, что о полной автоматизации на текущем уровне развития ИИ и речи нет. В частности, потому что технология не способна контролировать множественные процессы предприятия без участия человека.

Тем не менее на производстве по-прежнему остаются участки, которые подвластны автоматизированному управлению ИИ-решениями. Нужно только найти баланс.

«Полностью отдать управление ИИ допустимо только в регламентированных процессах, например, на автоматизированном складе, где всё работает по чётким алгоритмам. Но там, где есть вариативность и вероятность сложных ситуаций, человек всё ещё незаменим», — подчёркивает Максим Захаренко.

Баланс между автоматизацией и человеческим контролем достигается при помощи грамотной стратегии управления: чем выше риски от потенциальных ошибок ИИ, тем больше нужно установить точек контроля, добавил эксперт.

В критических областях, таких как медицина или авиация, ИИ способен только рекомендовать решения, а последнее слово всегда остаётся за человеком. В более простых процессах (например, анализ данных для маркетинга) можно дать ИИ больше свободы.

Определять уровень безопасности участия «умных» решений эксперт рекомендует по следующим метрикам:

1. Точность прогнозов;

2. Процент ошибок;

3. Скорость обработки информации;

4. Степень влияния автоматизации на конечный результат.

«Чтобы алгоритмы были доступны для проверки, они должны быть не “чёрными ящиками”, а понятными программами, поддающимися анализу. Это достигается за счёт логов, инструментов для объяснения решений ИИ и чётких критериев аудита», — объяснил г-н Захаренко.

При этом, по мнению г-на Рубакова, полное доверие ИИ возможно лишь в ситуации, где исключена высокая неопределённость, нет недостаточности обучающих данных, не возникают ситуации, требующие этических решений.

По словам г-на Власюка, баланс между автоматизацией и человеческим контролем сохраняется естественным образом, поскольку финальные решения по-прежнему остаются за персоналом. А ИИ пока выполняет роль помощника, предлагая варианты решений, но не принимая их самостоятельно.

«Например, цифровые помощники могут анализировать нагрузку на серверы и рекомендовать определённые действия, но окончательное решение всегда остаётся за специалистом. Это позволяет сочетать эффективность автоматизированных процессов с экспертной оценкой, минимизируя риски», — говорит Максим Власюк.

«Интересен подход “четырёх глаз”, когда решения ИИ проверяются человеком, а его решения, в свою очередь, могут проверяться или дополняться ИИ. Это создаёт взаимный контроль, снижающий вероятность ошибок», — считает г-н Оносов.

Вопрос доверия

Дмитрий Карамышев обращает внимание на то, что решения, которые принимает искусственный интеллект, должны быть прозрачными и доступными для анализа работниками.

ИИ не «мыслит» так, как мы — он вообще не думает. Технология работает так, как её обучили, с теми данными, которые ей дали. Не больше и не меньше, подчёркивает Максим Захаренко. Возможно ли здесь полное доверие? Нет. Если алгоритм работает с неполными данными или принимает решения без учёта контекста, он будет ошибаться.

«Представьте, что случится, если на производстве из-за такого “глюка” ИИ начнутся ложные срабатывания, а технология контроля качества начнёт массово отклонять детали. Это означает проблемы с выпуском, планом, поставками», — добавил эксперт.

Кроме того, компании нужно научиться правильно выстраивать систему оперативного реагирования на сбои — написать для ИИ алгоритмы самоконтроля. Чтобы «умные» технологии умели распознавать свои ошибки или “сомневаться” в принятии решений и передавать задачу человеку. Другими словами, если автоматизированный комплекс выходит из строя, нужно сформировать вариант «ручного режима».

«Определение чётких границ ответственности между ИИ и человеком критически важно: должно быть ясно, кто и за какие решения отвечает. Механизмы быстрой передачи контроля от ИИ к человеку в случае нештатных ситуаций нужно хорошо продумать и отработать. 

Опыт показывает, что, чем критичнее процесс для бизнеса, тем выше нужно установить уровень человеческого контроля. При этом важно сделать его осмысленным, а не формальным. Сотрудникам необходимо понимать логику работы ИИ и быть способными выявлять потенциальные проблем», — добавил Алексей Оносов.

Новые роли

Поскольку автоматизация на предприятии не обходится без участия человека, необходимо понять, как наладить «рабочие отношения» между ИИ и сотрудниками. Если просто взять и внедрить систему без учёта человеческих интересов, компания обязательно столкнётся с сопротивлением, отмечает г-н Захаренко.  

Поэтому необходимо обучить персонал, объяснять, как работают алгоритмы, внедрять ИИ как инструмент, а не замену человеку. Этот этап также способствует появлению в отрасли новых ролей и компетенций, необходимых для эффективного использования автоматизации и анализа данных.

Появляются специалисты по данным (Data Scientist) и инженеры по машинному обучению (Machine Learning Engineer), которые разрабатывают и внедряют ИИ-модели. Востребованными становятся менеджеры по ИИ (AI Manager или AI Director), отвечающие за стратегическое развитие технологий, и специалисты по этике ИИ (AI Ethics Specialist), обеспечивающие соответствие решений этическим нормам, рассказал г-н Карамышев.

Неудачная автоматизация как урок на будущее

Граница внедрения ИИ проходит там, где автоматизация перестаёт быть инструментом повышения эффективности и начинает угрожать устойчивости бизнеса, качеству решений и безопасности, подводит итог Алексей Рубаков.

«Полная передача контроля искусственному интеллекту без механизмов проверки, возможности корректировки и участия человека — это риск, который способен обернуться серьёзными последствиями. Оптимальный подход заключается в том, чтобы использовать ИИ как помощника, а не как замену человеческому опыту, оставляя за людьми ключевые решения и контроль над критическими процессами. Только так автоматизация принесёт пользу, не став угрозой для самого предприятия», — напомнил эксперт.