Big data: задачи, риски и состояние рынка в 2024 году

Big data, большие данные, океан информации — у этой технологии есть множество названий и ещё больше функций применения. Впервые понятие «большие данные», которое предполагает «очень большие массивы данных», получило огласку в 2008 году, когда редакция журнала Nature опубликовала спецвыпуск, посвящённый стремительному росту объёмов информации. А вот широкую популярность общественности, по словам экспертов, термин обрёл в середине 2011 года. Именно тогда, согласно аналитике сервиса Google Trends, в Сети начало расти количество запросов «big data».

Сегодня все знают не только термин, но и технологию, которую применяют во всех сферах бизнеса: и ретейлеры, и маркетплейсы, и предприятия, и учёные. Например, NASA c её помощью воспроизводит детали будущих миссий.

За последнее время большие данные стали популярными и в производстве. В 2024 году технология big data на предприятии представляет собой совокупность методов, инструментов и практик для сбора, хранения, обработки и анализа огромных объемов данных. По словам генерального директора «Бимэйстер Инжиниринг» Дениса Мариненкова, технология стала неотъемлемой частью бизнес-инфраструктуры, позволяющей заводам извлекать ценные инсайты и принимать обоснованные решения на основе больших объёмов накопленных данных. Эксперт также подчеркнул, что современные аппаратные и программные технологии позволяют компаниям перейти на принципиально новый уровень работы с информацией.  

Как применять big data на предприятии с умом? С чем связаны ключевые риски использования технологии? Как обстоят дела на российском рынке больших данных в условиях ограничений? Отвечаем на эти вопросы вместе с экспертами.

Зачем предприятиям big data?

Эксперты отмечают, что большие данные непрерывно развиваются в течение многих лет. В этом плане их можно сравнить с искусственным интеллектом (ИИ), который с каждым годом осваивает всё больше навыков и совершенствует их качество.

Только с 2020 года big data претерпела значительные изменения. По словам г-на Мариненкова, благодаря развитию облачных технологий за четыре года значительно расширились возможности сбора и хранения данных. Выросла и вычислительная мощность — это позволило обрабатывать данные быстрее и эффективнее. 

Большую роль в этом как раз сыграл ИИ!

«Значительное развитие технологий искусственного интеллекта за последние 2–3 года позволяют обрабатывать гигантские объёмы информации в разумные сроки», — говорит Денис Мариненков.

Советник по экономике и социологии РАЕН Антон Баланов подтвердил вышесказанное. Он также добавил, что за счёт развития ИИ, облачных технологий и улучшения алгоритмов за последние годы big data стала более доступной и интегрированной.

В рамках производства это позволяет оптимизировать процессы, повышать качество продукции, улучшать планирование производства и предупреждать возможные сбои только с помощью больших данных.

Предприятия чаще всего используют технологию big data для аналитики и прогнозирования трендов. Например, чтобы проанализировать рыночные тенденции и на основе этого принять решение о дальнейшей стратегии развития.

Мы уже говорили о том, что большие данные имеют множество функций, вот только некоторые из них:

• мониторинг состояния оборудования: анализ данных с датчиков позволяет предприятиям проводить предиктивное обслуживание и избегать аварийных ситуаций;
• аналитика продаж и потребительского поведения: использование big data для анализа данных о покупках и предпочтениях клиентов помогает улучшить стратегии маркетинга и продаж;
• оптимизация логистики и поставок: большие данные помогают оптимизировать логистические процессы, сократить затраты и улучшить эффективность поставок.

Риски

Несмотря на хвалёное всемогущество больших данных, они, как и любая другая технология, занимающаяся сбором и хранением информации, сопровождается рисками. Причём они связаны с конфиденциальностью как данных о клиентах, так и о самом предприятии и других сторонах.

Ввиду опасений некоторые компании последнее время даже перестали стремиться к развитию технологии в своём бизнесе. Ставки слишком высоки. Так, за утечку клиентских данных предприятию может грозить штраф в размере 1–3% оборотных средств. Само собой, каждая компания очень сильно задумается, прежде чем доверит big data все данные.

Кроме того, потеря контроля над данными и их передача конкурентам могут причинить серьёзный ущерб экономике и репутации компании. Раскрытие конфиденциальной информации в СМИ или в Интернете также нежелательно для бизнеса, даже если это не приносит явной выгоды какому-либо участнику рынка.

Важно отметить, что с февраля 2022 года в России наблюдается увеличение случаев утечек данных и рисков их возникновения из-за увеличивающегося числа кибератак на российские компании. Даже внутри предприятий становится всё сложнее получить доступ к клиентским данным. Департаментам big data и machine learning приходится доказывать необходимость использования этих данных для обучения моделей. В связи с этой ситуацией бизнес больше интересуется технологиями маскирования (обезличивания) персональных данных, чтобы обеспечить безопасную передачу данных для анализа и обработки внутри компании. Однако маскирование данных, как и любая другая технология, требует финансовых затрат.

Допустим, если сервер хранения данных находится непосредственно внутри предприятия, минимизировать риск утечки можно с помощью шифрования данных и строгого контроля доступа. Однако сложнее дела обстоят с сервисами хранения и обработки данных, предоставляемым сторонними компаниями (облачными услугами). Риск утечки данных здесь выше и не всегда под контролем, а потому выбирать поставщика таких услуг стоит внимательно.

Также Денис Мариненков отметил риски, связанные с качеством данных. Некачественная информация может привести к неправильным аналитическим выводам и неверным решениям.

Другими словами, компания может набрать много чётко сформированной информации, но с абсолютно бесполезным содержанием.

По оценкам консалтинговой организации Gartner, из-за некачественных данных компании в среднем теряют около 13 млн долларов ежегодно.

Контроль над данными, особенно крупными, должен осуществляться не только по форме, но и по содержанию, чтобы уменьшить риск создания информационного набора, который не является эффективным в целом или для решения конкретных задач.

Таким образом, большие данные являются достаточно хрупким инструментом, требующим аккуратного использования. В противном случае из полезной технологии он может превратиться в бомбу замедленного действия.

Машин недостаточно — нужны люди

«Думаю, что перспективы рынка big data в России являются обнадёживающими, поскольку существует растущий спрос на экспертов по анализу данных и специалистов в области big data», — делится мнением г-н Мариненков.

Его слова находят подтверждение в статистике. За первое полугодие 2023 года количество резюме соискателей с профилем данных увеличилось на 105%, как показало исследование компании Aero и платформы онлайн-рекрутинга hh.ru.

Также только за июнь интерес работодателей к аналитикам вырос в два раза. Согласно исследованию «Авито.Работа», спрос увеличился на 108%. А совместная работа Aero и hh.ru показала, что наиболее востребованными специалисты по работе с данными стали на добывающих, металлургических и химических предприятиях по всей стране.

При этом руководитель отдела по работе с данными в сервисе аренды самокатов Whoosh Никита Зеленский считает: поиск квалифицированных специалистов для работы с данными — процесс сложный. Например, по его мнению, практически 50% претендентов на должность BI-разработчика не могут качественно выполнить тестовое задание и не имеют соответствующего профессии портфолио. Специалистов по машинному обучению можно искать месяцами и в результате остаться ни с чем, поскольку зачастую опыт и знания кандидатов сильно расходятся с их ожиданиями от заработной платы.

Прогнозы big data в России

Впрочем, несмотря на перечисленные выше риски «утонуть» в «океане» информации, а также на тот факт, что «железо», а именно серверы, дорожает, компании всё же продолжают активно внедрять data-направление.

Так, например, руководитель отдела аналитики (Head of analytics) Okko Александр Кондрашкин утверждает, что популярность аналитики данных растёт наравне с бизнесом.

Г-н Мариненков, в свою очередь, отмечает, что российские предприятия и организации осознают значимость данных. В стране развивается инфраструктура для обработки большого объёма информации, создаются специализированные центры и лаборатории, а также проводятся различные образовательные программы и исследования.

По словам старшего аналитика «Тинькофф» Фёдора Скородумова, зависимость предприятий от аналитики данных в будущем будет только расти. Г-н Кондрашкин считает, что популярность направления будет расти в связи с появлением ChatGPT, благодаря которому big data нашла применение в ещё более широком круге сфер.

Прогнозами поделились также сервисы Aero и HeadHunter. По их оценкам, в 2024 году соискателей на должности в data-направление станет в два раза больше, чем в 2023-м.

Ассоциация участников рынка больших данных (АБД) ещё в прошлом году подготовила несколько возможных путей развития рынка big data. Так, в случае базового сценария направление может вырасти до 319 млрд рублей по итогам 2024 года. Это станет возможным, если развитие рынка ИТ-решений станет приоритетом для властей. Также для достижения таких показателей в стране важно усилить темпы внедрения data-решений и хотя бы частично заместить иностранный софт отечественным.

Худший вариант ждёт рынок в случае принятия властями «мобилизационной экономики» в сфере big data — он вырастет лишь на 189 млрд рублей.