Big Data без границ

Только представьте: по информации EMC, один человек каждую секунду генерирует 1,7 мегабайта данных. Как подсчитали в Unicorn Insights, чтобы загрузить только эти данные из интернета, понадобится более 180 миллионов лет!

Интересно Время, деньги и возможности: что еще можно получить, избавившись от бумаги

Перспективы Big Data – безграничны. По некоторым оценкам, к 2023 году рынок аналитики больших данных должен достичь 103 миллиардов долларов. Уже используют данные и инвестируют в Big Data и искусственный интеллект 97,2% компаний, утверждают в New Vantage.

Спрос быстро растет, а специалистов по Big Data не хватает, поэтому компании готовы бороться за работников. Профессии data scientist и data engineer попали в 10 самых высокооплачиваемых профессий будущего. И в Украине на государственном уровне признают важность этой профессии. В Министерстве образования определили, что аналитики данных и другие связанные с данным профессии будут среди самых актуальных в течение следующих 5 – 10 лет.

Киевстар начал использовать аналитику больших данных еще в 2015 году, а с 2019 году продукты и сервисы на основе больших данных стали доступными и для бизнес-клиентов. В направлении Big Data в Киевстар работают более 40 квалифицированных специалистов. Команда работает над тремя основными задачами:

  • удовлетворением потребностей клиентов в высокоинтеллектуальных цифровых сервисах;
  • решением бизнес-задач клиентов с помощью уникальных конвергентных продуктов;
  • развитием долгосрочных отношений с партнерами.

24 канал пообщался с Сергеем Небольсином, специалистом по разработке компьютерных программ и членом команды Big Data в Киевстар о том, как стать аналитиком данных, нюансы этой профессии и перспективы Big Data на украинском рынке.

Кто работает с данными

Как и любая профессия, работа с данными предусматривает различные направления. В общем человека, который работает с данными, можно назвать аналитиком данных, или data analyst.

Аналитика охватывает различные направления, методики и технологии. Аналитик данных может углублять свои знания и становиться data engineer или data scientist,
– рассказывает Сергей.

  • Data scientist анализирует данные для построения прогнозов и выявление ценных инсайтов. Для этого он использует алгоритмы машинного обучения, которые уже существуют, или даже разрабатывает самостоятельно новые. Алгоритмы машинного обучения благодаря математике описываются с помощью формул, а благодаря языкам программирования переводятся в понятный для компьютера программный код. Алгоритмы могут создавать отдельно математики или программисты, или дата сайентисты самостоятельно. Однако, как правило, дата сайентисты используют готовые алгоритмы и адаптируют их для конкретных задач. Например, для прогнозирования цен или кому будет интересна это предложение.
  • Data engineer строит инфраструктуру, потоки данных, хранилища данных чтобы, во-первых, чтобы было где хранить данные; во-вторых, чтобы эти данные были целостными и качественными и, в-третьих, чтобы эти данные могли попасть к другим пользователям в том числе к аналитикам и сайентистам.

Аналитика данных становится все более востребованной / Фото Fotolia

Сергей рассказывает, что не стоит осуществлять градацию этих трех направлений, ведь в некоторых компаниях специалисты могут называть себя data analyst, фактически выполняя работу data scientist или data engineer. Следовательно, понятие довольно размыты.

Что делать с данными

Понятно, что рынок аналитики данных – перспективный. Но что же делают с этим данным? Таких продуктов и сервисов – множество, говорит Сергей, и каждый из нас сталкивается с ними каждый день. К примеру:

  • Обычные чат-боты, которые используют, чтобы отследить посылку, перевести предложения или создать опрос в телеграмме.
  • Рекомендации по фильмам и музыке. Если бы в YouTube Music не было рекомендаций, что послушать дальше, платформа не отличалась бы от обычного онлайнового MP3-плеера. Рекомендации же значительно расширяют опыт пользователей.
  • Музыка и тексты, которые пишет искусственный интеллект (ИИ). Человек может написать заголовок и первое предложение, а ИИ допишет статью до конца – и читатель даже не поймет, что текст написан не человеком.
  • Распознавания лица. Этот инструмент очень помогает в проверке личности человека. И именно он позволяет разблокировать телефоны.
  • Распознавания видео. Задумывались ли вы над тем, как работают беспилотные авто? Искусственный интеллект анализирует информацию по видео: пешеходы, светофоры, машины – и принимает решение о движении автомобиля.

Это то, с чем мы ежедневно сталкиваемся, даже не задумываясь, что оно работает на технологиях Big Data и искусственного интеллекта,
– объясняет специалист Big Data Киевстар.

Работая в команде Киевстар, Сергей сталкивается с различными проэктам относительно крупных данных. В частности, с такими, как:

  • Сегментация, что позволяет определить, какие люди сноубордисты, а какие – лыжники; кто имеет детей, а кто – нет; кто добирается на работу собственным транспортом, а кто – общественным. Очень полезный инструмент для поиска новых клиентов.
  • Триггерная коммуникация. Если вы были в аэропорту или пересекали границу, то, наверное, получали сообщение об услуге роуминга от мобильного оператора. По этому же принципу, человек, проходя, например, мимо аптеки, получает сообщение об акции на какие-то лекарства.

Подробнее Новый "старый" маркетинг: как SMS-рассылка и Big Data помогают масштабировать бизнес

  • Оптимизация транспортних систем. С помощью данных города и населенные пункты могут избавиться от пробок. В Киевстар работают над проектом по оптимизации транспортных систем. Имеющиеся данные позволяют спрогнозировать загруженность дорог на неделю, месяц или даже год. Компания оценит общую ситуацию в городе с данными или расчетами и предоставит прогноз – какая ситуация будет в конце года, через год, через пять лет. Проще уделить внимание профилактике, а не бороться с последствиями.

Вступить в ряды аналитиков данных в Украине – очень перспективно, ведь спрос на работников сегодня значительно выше, чем предложение. Однако Сергей считает, что высокая зарплата не должна быть причиной перехода к этой сфере, а, скорее, приятным бонусом.

Какой смысл с того, что профессия высокооплачиваемая, если ты не получаешь от нее удовольствие? Оно не должно так работать. Если тебе нравятся данные и у тебя математический склад ума, то вперед – учись, углубляй знания. Именно это должно быть основной причиной, а высокая зарплата – это замечательный бонус,
– убежден специалист Big Data Киевстар.

Как стать аналитиком данных

До Киевстар Сергей работал в различных компаниях дата аналитиком, но сначала начиналось все с логистики. Работая в сфере логистики или финансов, человек рано или поздно сталкивается с аналитикой. В случае Сергея это случалось часто, каждый раз приходилось выполнять сложные операции – автоматизировать процессы, составлять отчеты, анализировать. Нашему собеседнику это пришлось по душе.

Он брал на себя все больше таких задач и таким образом углублял свои знания. Уже работая в области анализа данных он узнал о бесплатной Big Data School от компании. Со второй попытки Сергею удалось попасть в школу. И, успешно закончив ее, он присоединился к команде Big Data.

Как данные меняют мир

Данные – это действенный инструмент, чтобы улучшить мир,
– убежден Сергей.

Каждая компания стремится удешевить производство и одновременно улучшить продукт, город хочет избавиться от пробок и организовать эффективную систему учета энергоресурсов, государство планирует сделать все услуги электронными, а мир мечтает преодолеть пандемию. Всему этому будут способствовать данные, определяя места для оптимизации.

Итак, перспективы для отрасли, что растет каждую секунду, – безграничны. То, что 10 лет назад казалось нереальным, теперь обыденным. Вашей компании не обязательно нанимать собственную команду аналитиков – вы можете обратиться, например, к Киевстар и получить уже готовые решения.