Почему всякому Data Scientist нужен свой Data Engineer

Data Scientist признали «самой сексуальной работой в XXI веке». The Harvard Business Review считает, что этот «гибрид дэйта-хакера, аналитика, переговорщика и доверенного советника» — редкое сочетание навыков, заслуживающих высокой зарплаты.

Слишком хорошо, чтобы быть правдой? Да, по словам Форбса. Оказывается, ученые-данные тратят большую часть своего времени (до 79%!) на работу, которую они больше всего ненавидят.

Спрос на Data Scientist:

Но с предложением немногим более 11 000  Data Scientist и быстро растущим спросом, конкуренция между работодателями для обеспечения этой роли довольно крутая. Американское Бюро Статистики Труда, прогнозирует, что к 2018 году спрос на таких работников будет на 50-60% выше, чем предложение. А Маккинзи предсказывает, что к 2018 году только Соединенные Штаты столкнутся с нехваткой 1,5 млн. аналитиков и менеджеров, знающих, как использовать большие данные для принятия решений.

Компании, которые не наймут data scientist сейчас, возможно, не смогут найти его вообще никогда.

Роль data scientists:

Однако, если у организации есть data scientists, что тогда? Как они культивируют среду, которая максимизирует навыки этого человека и заставляет его хотеть остаться

Сначала рассмотрим, что делает средний data scientist в течение всего дня:

• Создает тренировочные дата-сеты (3% времени)
  
• Очищает и организует данные (60%)
  
• Собирает наборы данных (19%)
  
• Рассматривает структуру данных (9%)
  
• Уточняет алгоритмы (4%)
  
• Другое (5%)
  

Тут мы видим, насколько непривлекательной стала профессия: 

Подавляющее большинство data scientists соглашается с тем, что сбор данных, их очистка и организация являются самой нелюбимой частью работы. 

Хуже того, сбор и организация данных не имеет ничего общего с анализом; это просто подготовка данных. Для это требуются определенные навыки, но это не наука о данных.

Компании могут освободить своих data scientists, посвящать на 79% своего времени анализу, если кто-то другой будет готовить данные. Мало того, что компании получат больше отдачи от каждого дополнительной моменты, затраченной на анализ, но они позволят своим ученым делать то, что они любят.

Поэтому подготовка данных должна быть поручена отдельному специалисту — Data Engineer.

Оригинал статьи: www.datasciencecentral.com