Big Data без меж
Тільки-но уявіть: за інформацією EMC, одна людина щосекунди генерує 1,7 мегабайта даних. Як підрахували в Unicorn Insights, щоб завантажити лише ці дані з інтернету, знадобиться понад 180 мільйонів років!
Цікаво Час, гроші та можливості: що ще можна отримати, позбувшись паперу
Перспективи Big Data – безмежні. За деякими оцінками, до 2023 року ринок аналітики великих даних має досягти 103 мільярдів доларів. Уже використовують дані та інвестують у Big Data та штучний інтелект 97,2% компаній, твердять у New Vantage.
Попит швидко зростає, а фахівців із Big Data не вистачає, тож компанії готові боротися за працівників. Професії data scientist та data engineer потрапили до 10 найбільш оплачуваних професій майбутнього. Та й в Україні на державному рівні визнають важливість цієї професії. У Міністерстві освіти визначили, що аналітики даних та інші пов’язані з даними професії будуть серед найактуальніших упродовж наступних 5 – 10 років.
Київстар почав використовувати аналітику великих даних ще у 2015 році, а з 2019 року продукти та сервіси на основі великих даних стали доступними і для бізнес-замовників. В напрямку Big Data в Київстар працюють більше ніж 40 кваліфікованих фахівців. Команда працює над трьома основними завданнями:
- задоволенням потреб клієнтів у високоінтелектуальних цифрових сервісах;
- рішенням бізнес-завдань клієнтів за допомогою унікальних конвергентних продуктів;
- розвитком довгострокових відносин з партнерами.
24 канал поспілкувався із Сергієм Небольсіним, фахівецем з розроблення комп'ютерних програм та членом команди Big Data в Київстар про те, як стати аналітиком даних, нюанси цієї професії та перспективи Big Data на українському ринку.
Хто працює з даними
Як і кожна професія, робота з даними передбачає різні напрями. Загалом людину, яка працює з даними, можна назвати аналітиком даних, або data analyst.
Аналітика охоплює різні напрями, методики та технології. Аналітик даних може поглиблювати свої знання та ставати data engineer чи data scientist,
– розповідає Сергій.
- Data scientist аналізує дані для побудови прогнозів та виявлення цінних інсайтів. Для цього він використовує алгоритми машинного навчання, які вже існують, або, навіть, розробляє власноруч нові. Алгоритми машинного навчання завдяки математиці описуються за допомогою формул, а завдяки мовам програмування перекладаються у зрозумілий для комп'ютера програмний код. Алгоритми можуть створювати окремо математики чи програмісти, або дата саєнтисти самостійно. Проте, зазвичай, дата саєнтисти використовують готові алгоритми та адаптують їх для конкретних задач. Наприклад, для прогнозування цін або кому буде цікава ця пропозиція.
- Data engineer будує інфраструктуру, потоки даних, сховища даних щоб, по-перше, було де зберігати дані; по-друге, щоб ці дані були цілісними та якісними та, по-третє, щоб ці дані могли потрапити до інших користувачів у тому числі аналітиків та саєнтистів.
Аналітика даних стає все більш затребуваною / Фото Fotolia
Сергій розповідає, що не варто здійснювати градацію цих трьох напрямів, адже в деяких компаніях фахівці можуть називати себе data analyst, фактично виконуючи роботу data scientist чи data engineer. Отже, поняття доволі розмиті.
Що можна робити з даними
Зрозуміло, що ринок аналітики даних – перспективний. Але що ж роблять із цим даними? Таких продуктів та сервісів – сила-силенна, каже Сергій, і кожен з нас стикається з ними щодня. Наприклад:
- Звичайні чат-боти, які використовують, щоб відстежити посилку, перекласти речення чи створити опитування в телеграмі.
- Рекомендації щодо фільмів та музики. Якби в YouTube Music не було рекомендацій, що послухати далі, платформа не відрізнялася б від звичайного онлайнового MP3-плеєра. Рекомендації ж значно розширюють досвід користувачів.
- Музика та тексти, які пише штучний інтелект (ШІ). Людина може написати заголовок і перше речення, а ШІ допише статтю до кінця – і читач навіть не зрозуміє, що текст написаний не людиною.
- Розпізнавання обличчя. Цей інструмент дуже допомагає в перевірці особистості людини. І саме він дає змогу розблоковувати телефони.
- Розпізнавання відео. Чи замислювались ви над тим, як працюють безпілотні авто? Штучний інтелект аналізує інформацію з відео: пішоходи, світлофори, інші машини – і приймає рішення про рух автомобіля.
Це те, із чим ми щодня стикаємося, навіть не замислюючись, що воно працює на технологіях Big Data та штучного інтелекту,
– пояснює фахівець Big Data Київстар.
Працюючи в команді Київстар, Сергій стикається з різними проєктами щодо великих даних. Зокрема, з такими, як:
- Сегментація, що дає змогу визначити, які люди сноубордисти, а які – лижники; хто має дітей, а хто – ні; хто дістається на роботу власним транспортом, а хто – громадським. Дуже корисний інструмент для пошуку нових клієнтів.
- Тригерна комунікація. Якщо ви були в аеропорту чи перетинали кордон, то, напевне, отримували повідомлення про послугу роумінгу від мобільного оператора. За цим самим принципом, людина, проходячи, наприклад, повз аптеку, отримує повідомлення про акцію на якісь ліки.
Детальніше Новий "старий" маркетинг: як SMS-розсилка та Big Data допомагають масштабувати бізнес
- Оптимізація транспортних систем. За допомогою даних міста та населені пункти можуть позбутися заторів. У Київстар наразі працюють над проєктом по оптимізації транспортних систем. Наявні дані дають змогу спрогнозувати завантаженість доріг на тиждень, місяць чи навіть рік. Компанія оцінить загальну ситуацію в місті з даними або розрахунками та надасть прогноз – яка ситуація буде в кінці року, через рік, через п'ять років. Простіше приділити увагу профілактиці, а не боротися з наслідками.
Вступити до лав аналітиків даних в Україні – дуже перспективно, адже попит на працівників сьогодні значно вищий, ніж пропозиція. Проте Сергій вважає, що висока зарплата має бути не причиною переходу до цієї сфери, а, радше, приємним бонусом.
Який сенс із того, що професія високооплачувана, якщо ти не отримуєш від неї задоволення? Воно не має так працювати. Якщо тобі подобаються дані й у тебе математичний склад розуму, то вперед – навчайся, поглиблюй знання. Саме це має бути основною причиною, а висока зарплата – це чудовий бонус,
– переконаний фахівець Big Data Київстар.
Як стати аналітиком даних
До Київстар Сергій працював у різних компаніях дата аналітиком, але спочатку починалось все з логістики. Працюючи у сфері логістики чи фінансів, людина рано чи пізно стикається з аналітикою. У випадку Сергія це траплялося часто, щоразу доводилось виконувати складніші операції – автоматизовувати процеси, складати звіти, аналізувати. Нашому співбесідникові це припало до душі.
Він брав на себе дедалі більше таких завдань і таким чином поглиблював свої знання. Вже працюючи у сфері аналізу даних він дізнався про безкоштовну Big Data School від компанії. З другої спроби Сергієві вдалося потрапити до школи. І, успішно закінчивши її, він приєднався до команди Big Data.
Як дані змінюють світ
Дані – це дієвий інструмент, щоб покращити світ,
– переконаний Сергій.
Кожна компанія прагне здешевити виробництво й водночас поліпшити продукт, місто хоче позбутися заторів та організувати ефективну систему обліку енергоресурсів, держава планує зробити всі послуги електронними, а світ мріє подолати пандемію. Усьому цьому сприятимуть дані, визначаючи місця для оптимізації.
Отже, перспективи для галузі, що росте щосекунди, – безмежні. Те, що 10 років тому здавалось нереальним, тепер є буденним. Вашій компанії не обов’язково наймати власну команду аналітиків – ви можете звернутися, приміром, до Київстар і отримати вже готові рішення.