Почему так много специалистов по данным бросают свою работу

Печаль data scientist’ов

Да, я занимаюсь данными. И да, вы правильно прочитали название, но все таки кто-то должен был это сказать. Мы так много читаем о безумной привлекательности науки о данных (ее называют самой сексуальной работой XXI века и о внушительных суммах денег, которые data scientist может заработать, что это занятие может показаться работой мечты. Прибавьте к тому, что в индустрии уже есть множество высококвалифицированных людей, заморачивающихся со сложными проблемами ( и да, заморачиваться — это хорошо), и в эту работу можно будет влюбиться.

Но правда в том, что data scientists обычно «проводят 1-2 часа в неделю в поисках новой работы», как указано в этой статье Financial Times. Кроме того, в статье также говорится, что «… специалисты по машинному обучению возглавили список разработчиков, которые заявили, что ищут новую работу (14,3%). Data scientists оказались на втором месте (13,2%)». Stack Overflow собрали эти данные из опроса 64 000 разработчиков.

Я сам недавно был в подобном положении и только что сменил работу в области data science.

Так почему же так много data scientists ищут новые рабочие места?

Прежде чем ответить на этот вопрос, я должен уточнить, что до сих пор являюсь data scientist. В целом, я люблю работу, и я не хочу мешать тем, кто хочет стать data scientists, потому что это классная работа, она приносит хорошие деньги и весьма увлекательна. Цель этой статьи — сыграть адвоката дьявола и выявить некоторые негативные аспекты работы.

С моей точки зрения, существует 4 важные причины почему многие data scientist могут быть недовольны своей работой.

1. Ожидание не соответствует действительности

“Большие данные похожи на подростковый секс: все об этом говорят, никто не знает, как это делается, все думают, что все им занимаются, поэтому все утверждают, что они им тоже занимаются” - Дэн Ариэли

Эта цитата очень к месту. Многие junior data scientists, которых я знаю (и я в их числе), хотели попасть в науку о данных, потому что речь шла о решении сложных проблем с применением новых алгоритмов машинного обучения, и оказывают огромное влияние на бизнес. Это был шанс почувствовать, что работа, которую мы делали, важнее всего, что мы делали раньше. Однако это часто бывает не так.

На мой взгляд, тот факт, что ожидание не соответствует действительности, является истинной причиной ухода многих ученых. Есть много факторов, я не могу здесь привести полный список, но этот пост по сути является перечнем некоторых причин, с которыми я столкнулся.

Все компании — разные, поэтому я не могу говорить за всех, но многие компании нанимают ученых-специалистов без подходящей инфраструктуры, желая начать получать выгоду от ИИ. Это вызывает проблему холодного запуска ИИ. Прибавьте сюда то, что эти компании не нанимают опытных senior data scientists до найма джуниоров, и у вас получится рецепт разочарования и плохих взаимоотношений. Data scientist, скорее всего приходит создавать алгоритмы машинного обучения и выдавать результат, но не может это делать, поскольку его первой задачей является сортировка инфраструктуры данных и / или создание аналитических отчетов. А компания всего лишь хочет получить красивый график чтобы показывать его каждый день на совещаниях. Затем компания разочаровывается, не видя быстрой отдачи, и все это приводит к тому, что data scientist несчастлив в своей роли.

Роберт Чанг привел очень проницательную цитату в своем блоге, давая советы junior data scientists:

Важно оценить, насколько наши стремления совпадают с основным направлением  нашей сферы. Найдите проекты, команды и компании, чье основное направление наилучшим образом соответствует вашим требованиям.

Здесь подчеркиваются двухсторонние отношения между работодателем и data scientist. Если компания занимается не тем, или имеет цели, отличные от целей data scientists, то становится только  вопросом времени, когда data scientist найдет что-то еще.

Для тех, кого заинтересовал Самсон Ху, у него есть фантастическая интересная и полная идей серия постов о создании компании аналитиков в Wish.

Еще одна причина, по которой data scientists разочаровываются — это та же самая причина, по которой я разочаровался в академических кругах: я полагал, что смогу оказать огромное влияние на людей во всем мире, а не только внутри компании. На самом деле, если основной бизнес компании не является машинным обучением (мой предыдущий работодатель — издательская компания для СМИ), то вы скорее всего будете заниматься data science только для того, чтобы немного увеличить прибыли компании. Может быть, это выльется во что-то более серьезное, вы можете даже наткнуться на золотую жилу, но я бы на это не рассчитывал.

2. Политика превыше всего

О политике уже есть блестящая статья  The most difficult thing in data science: politics, и я призываю вас ее прочитать. Первые несколько предложений из этой статьи в значительной степени подытоживают то, что я хочу сказать:

Когда я просыпался в 6 часов утра и садился изучать курс по методам опорных векторов, я думал: «Это слишком сложно… Так, стоп! Я же могу стать очень ценным для своего будущего работодателя!». Если бы у меня был DeLorean с машиной времени, я бы вернулся назад во времени и сам себе сказал бы: “Ни фига подобного!”.

Если вы серьезно думаете, что знание множества алгоритмов машинного обучения сделает вас самым ценным data scientist, вернитесь к моему первому пункту: ожидание не соответствует действительности.

Истина заключается в том, что самые влиятельные люди бизнеса должны хорошо воспринимать вас. Это может означать, что вам приходится постоянно выполнять специфическую работу. Например, доставать данные из базы данных, чтобы дать нужным людям в нужное время, делать простые проекты, чтобы нужные люди имели правильное представление о вас. Мне много приходилось этим заниматься на моем предыдущем месте. Это бесило ровно настолько, насколько вы может себе представить, но от этого было некуда деться.

3. Вы будете тем человеком, которому задают любые вопросы о данных

Разобравшись с необходимостью постоянно удовлетворять важных людей, нужно сказать, что те же самые важные люди часто не понимают, что подразумевается под data scientist. Это означает, что именно вы будет заниматься аналитикой, а также писать отчеты, и давайте не будем забывать, что вы еще будете и экспертом по базам данных.

Не только управленцы будут переоценивать ваши навыки. Другие коллеги по цеху предполагают, что вы знаете все о данных. Вы знакомы со Spark, Hadoop, Hive, Pig, SQL, Neo4J, MySQL, Python, R, Scala, Tensorflow, A / B Testing, NLP,  всем, что связано с машинным обучением, а еще всем, что приходит в голову при слове “данные”. Кстати, если вы видите вакансию, где указаны все эти навыки, бегите! Дело попахивает тем, что компания не знает свою стратегию по данным, и они хотят нанять хоть кого-нибудь, поскольку считают, что найм любого специалиста устранит все проблемы с их данными.

Но это еще не конец. Поскольку вы все это знаете, и вы, очевидно, имеете доступ ко всем данным то, вы должны предоставить ответы на ВСЕ вопросы через ....... ну, ответы уже пять минут назад должны были придти на почту всем заинтересованным лицам.

Может быть сложно рассказать всем, что вы на самом деле знаете, и контролировать их. Не потому, что кто-то на самом деле думает о вас меньше, а потому, что, будучи junior scientist с небольшим опытом работы в отрасли, вы будете беспокоиться, что люди будут думать о вас плохо. Ситуация не из простых!

4. Работа в изолированной команде

Когда мы видим успешные data продукты, мы часто имеем дело с умело разработанными интеллектуальными пользовательскими интерфейсами и, самое главное, c практически применимыми результатами. Эти результаты воспринимаются пользователями, как минимум, как пригодные для решения определенных проблем. Теперь, если data scientist тратит свое время только на изучение того, как писать и выполнять алгоритмы машинного обучения, он может быть только небольшой (хотя и необходимой) частью команды, создающей потенциально успешный продукт. Это означает, что data science коллективам, работающим изолированно, будет трудно обеспечить продуктивность.

Несмотря на это, во многих компаниях все еще есть data science команды, которые придумывают свои собственные проекты и пишут код для решения проблем. В некоторых случаях этого может быть достаточно. Например, если требуемый результат является электронной таблицей, создаваемой один раз в квартал, то команда может быть продуктивной. С другой стороны, если целью является оптимизация, обеспечивающая интеллектуальные предложения в специализированном продукте для создания веб-сайтов, то от команды потребуется множество разных навыков, которых нельзя ожидать от подавляющего большинства data scientists (только магический волшебник из мира данных может решить эту проблему в одиночестве). Поэтому, если проект будет проводиться изолированной data science командой, то он, скорее всего, потерпит неудачу (или займет очень много времени, потому что в больших компаниях сложно координировать работу изолированных команд над единым проектом).

Поэтому, чтобы быть эффективным специалистом в прикладной науке о данных, недостаточно делать успехи в соревнованиях Kaggle и закончить какие-нибудь онлайн-курсы. К счастью, или к сожалению (в зависимости от того, каким образом вы смотрите на ситуацию), от вас ожидается понимание того, как иерархия и политика работают в бизнесе. Поиск компании, которая соответствует вашему критическому пути, должна быть ключевой целью при поиске такой работы в науке о данных, которая будет удовлетворять ваши потребностям. Тем не менее, вам все равно полезно изменить свои ожидания от работы в сфере данных.

Если у кого-то есть дополнительные комментарии, вопросы или возражения, пожалуйста, не стесняйтесь комментировать, потому что конструктивное обсуждение необходимо , чтобы помочь специалистам в сфере данных сделать обоснованные решения относительно их карьерного пути.

Оригинал статьи: towardsdatascience.com