10 Практических Навыков Data Science, Которыми Нужно Владеть в 2022 году
Предисловие
Многие курсы и статьи «Как заниматься наукой о данных», как правило, посвящены фундаментальным навыкам, таким как статистика, математика и программирование. Однако эти фундаментальные навыки бывает трудно превратить в практические знания, которые помогут вам трудоустроиться.
Ниже представлен уникальный список практических навыков, которые сыграют ведущую роль при вашем трудоустройстве в 2022 году.
Первые четыре являются ключевыми для любого специалиста по данным вне зависимости от того, на чем вы специализируетесь. Остальные навыки (5-10) будут варьироваться в зависимости от вашей специализации.
Например, если вы занимаетесь в основном статистикой, то вы можете сфокусироваться на области статистических выводов. И наоборот, если вас больше интересует текстовая аналитика, то можно сконцентрироваться на изучении NLP. Если вы интересуетесь теорией принятия решений - сосредоточиться на объяснительном моделировании и т.д.
1. Написание SQL-запросов и построение конвейеров данных
Умение писать надежные SQL-запросы и планировать их на платформе управления рабочим процессом, такой как Airflow, сделает вас чрезвычайно востребованным специалистом по данным, поэтому это пункт №1.
Почему? На это есть много причин:
1. Гибкость: компании любят специалистов по обработке данных, которые могут делать больше, чем просто моделировать данные. Компании ОБОЖАЮТ исследователей данных с полным стеком. Если вы сможете помочь построить основные конвейеры данных (core data pipelines), то вы сможете улучшить собираемую информацию, создать более надежные отчеты и, в конечном итоге, облегчить жизнь всем.
2. Независимость: будут случаи, когда вам понадобится таблица или представление для модели или проекта по Data Science, которого не существует. Возможность писать надежные конвейеры для ваших проектов вместо того, чтобы полагаться на аналитиков или инженеров данных, сэкономит ваше время и повысит вашу ценность.
Следовательно, вы ДОЛЖНЫ быть экспертом в SQL как специалист по данным. Никаких исключений.
2. Преобразование данных/конструирование признаков
Независимо от того, создаете ли вы модели, исследуете новые возможности для создания или выполняете глубокие погружения, вам необходимо знать, как обрабатывать данные.
Преобразование данных (Data Wrangling) означает преобразование ваших данных из одного формата в другой.
Конструирование признаков (Feature Engineering) - это форма обработки данных, но конкретно относится к извлечению особенностей из необработанных данных.
Не имеет значения, как вы обрабатываете свои данные, используете ли вы Python или SQL, но вы должны иметь возможность манипулировать своими данными, как вам нравится (в пределах возможного, конечно же).
3. Контроль версий
Под «контролем версий» конкретно имеется в виду GitHub и Git. Git - это основная система контроля версий, используемая в мире, а GitHub - это, по сути, облачный репозиторий для файлов и папок.
Хотя Git - не самый интуитивно понятный навык для изучения на первых порах, его важно знать почти для каждой отдельной роли, связанной с кодированием. Почему?
- Он позволяет вам сотрудничать и работать над проектами параллельно с другими;
- Он отслеживает все версии вашего кода (на случай, если вам нужно вернуться к более старым версиям)
- Найдите время, чтобы изучить Git. Это даст вам очень многое!
4. Повествование (т.е. коммуникация)
Одно дело - создать визуально приятный дашборд или сложную модель с точностью более 95%. НО, если вы не можете донести ценность своих проектов до других, вы не получите признания, которого заслуживаете, и, в конечном итоге, вы не добьетесь такого успеха в своей карьере, как следовало бы.
Повествование относится к тому, «как» вы доносите свои идеи и модели. Концептуально, если провести параллель с книгой, содержащей картинки, то ваши идеи/модели - это так называемые картинки, а «повествование» относится к истории, которая соединяет все картинки.
Повествование и коммуникация - это очень недооцененные навыки в мире технологий. Именно они отличают юниоров от старших и менеджеров.
5. Регрессия/классификация
С построением регрессионных и классификационных моделей, то есть прогнозных моделей, вы будете работать не всегда, но работодатели ожидают, что вы владеете данными навыками, если вы data scientist.
Даже если это не то, чем вы часто будете заниматься, вы должны уметь это делать, чтобы иметь возможность создавать высокопроизводительные модели. Некоторые специалисты по данным могут за весь путь карьеры создать только пару моделей машинного обучения, но они будут являться критически важными моделями и окажут значительное влияние на бизнес.
Следовательно, вы должны хорошо разбираться в методах подготовки данных, улучшенных алгоритмах, настройке гиперпараметров и метриках оценки модели.
6. Объяснительная модель (Explanatory model)
Есть два типа моделей, которые вы можете построить. Одна из них - это прогностическая модель, предполагающая результат на основе ряда входных переменных. Другая - объяснительная модель (explanatory model), которая используется не для прогнозирования, а для лучшего понимания взаимосвязей между входными и выходными переменными.
Объяснительные модели обычно создаются с использованием регрессионных моделей. Причина в том, что они предоставляют много полезной статистики для понимания взаимосвязей между переменными.
Объяснительные модели очень недооценены, т.к. невероятно полезны. Они необходимы, если вы хотите попасть в сферу науки о принятии решений.
7. A/B-тестирование (экспериментирование)
A/B-тестирование - это форма экспериментирования, когда вы сравниваете две разные группы, чтобы увидеть, какая из них работает лучше на основе заданной метрики.
A/B-тестирование, пожалуй, является наиболее практичной и широко используемой статистической концепцией в корпоративном мире. Почему? A/B-тестирование позволяет объединить сотни или тысячи небольших улучшений, что со временем приведет к значительным изменениям и улучшениям.
Если вас интересует статистический аспект науки о данных, важно понять и изучить A/B-тестирование.
8. Кластеризация
Не всегда специалистам по данным приходится использовать кластеризацию в своей карьере, но это основная область науки о данных, с которой каждый должен хотя бы быть знаком.
Кластеризация полезна по ряду причин. С помощью неё вы можете найти разные потребительские сегменты, есть возможность использовать кластеризацию для маркировки немаркированных данных, и вы даже можете использовать кластеризацию, чтобы найти точки отсечения для моделей.
9. Рекомендация
Система рекомендаций - одно из самых практических приложений в науке о данных. Системы рекомендаций являются столь мощными, поскольку они способны стимулировать доходы и прибыли. Фактически, Амазон заявил, что увеличил свои продажи на 29% благодаря своим системам рекомендаций в 2019 году.
Итак, если вы когда-либо работали в компании, в которой пользователи должны делать выбор, и этот выбор большой, системы рекомендаций могут оказаться полезным приложением для изучения.
10. NLP
NLP, или обработка естественного языка (Natural Language Processing), - это ветвь искусственного интеллекта, которая фокусируется на тексте и речи. В отличие от машинного обучения, NLP еще очень далеко от стадии созревания, и это делает его максимально интересным.
У NLP много вариантов использования...
- Для анализа тональности текста, чтобы увидеть, как люди относятся к бизнесу или бизнес-продуктам;
- Для мониторинга социальных сетей компании, разделяя положительные и отрицательные комментарии;
- NLP - это ядро создания чат-ботов и виртуальных помощников;
- NLP также используется для извлечения текста (анализа документов).
В целом, NLP - действительно интересная и полезная ниша в мире науки о данных.
Спасибо за прочтение!
Надеемся, что данный список практических навыков поможет вам в освоении Data Science и даст нужное направление на предстоящий год. Удачи в учебе!
