Искусственный интеллект (AI): в чем разница между Deep Learning и Reinforcement Learning?
В последнее время уделяется большое внимание различным передовым технологиям, находящимся под эгидой искусственного интеллекта. Количество генерируемых нами данных продолжает расти до невероятных уровней, но также растут и возможности AI в решении данной проблемы. Эти данные и высокая вычислительная мощность, которые теперь доступны многим, - то, что способствует колоссальному росту AI-технологий и дает новые возможности Deep learning и Reinforcement learning. В условиях быстрых перемен в AI-индустрии становится не так просто идти в ногу с передовыми технологиями. В этой статье рассмотрим подробнее, что из себя представляет Deep learning и Reinforcement learning и разберем, в чем их отличие.
Как Deep learning, так и Reinforcement learning представляют собой функции машинного обучения, которые, в свою очередь, являются частью более широкого набора инструментов искусственного интеллекта. Что самое интересное, и Deep learning, и Reinforcement learning позволяют компьютеру самостоятельно разрабатывать алгоритм решения задач. Способность компьютеров учиться не является новой, но до недавнего времени у нас не было настолько большого количества данных и такой вычислительной мощности, чтобы сделать это повседневным инструментом.
Что такое Deep learning?
Deep learning - это, по сути, автономная система самообучения, в которой используются существующие данные для обучения алгоритмов, чтобы найти паттерны, а затем применять их для прогнозирования новых данных. Например, вы можете обучить алгоритм распознаванию котов на фотографии. Это можно сделать загрузив миллион изображений, содержащих котов, и столько же – не содержащих. Затем программа будет устанавливать паттерны, классифицируя и группируя данные изображения (например, края, формы, цвета, расстояния между фигурами и т.д.). В последующем, при загрузке новых изображений, эти паттерны, созданные с помощью данных обучения, будут основой определения есть на рисунке коты или нет.
Алгоритмы Deep learning делают это через различные уровни искусственных нейронных сетей, которые имитируют сеть нейронов в нашем мозгу. Это позволяет алгоритму выполнять различные циклы для сужения шаблонов и улучшения прогнозов с каждым циклом.
Ярким примером Deep learning на практике является Apple’s Face ID. При настройке телефона вы обучаете алгоритм, сканируя свое лицо. Каждый раз, когда вы входите в систему с использованием Face ID, камера TrueDepth фиксирует тысячи точек данных, которые создают детализированную схему вашего лица, а встроенная нейронная сеть анализирует, вы ли это пытаетесь войти в систему.
Что такое Reinforcement learning?
Reinforcement learning – это автономная система самообучения, которая учится методом проб и ошибок. Она выполняет действия с целью максимизации выгоды или, другими словами, учится стремясь добиться лучшего результата. Это похоже на то, как мы учимся кататься на велосипеде. Сначала наши движения крайне неустойчивы и мы часто падаем. Но со временем мы используем фидбэк о том, как стоит делать, а как не стоит. Таким образом, мы совершенствуем наши навыки и, в конце концов, уже без труда можем управлять велосипедом. Почти то же самое происходит при использовании Reinforcement learning компьютерами. Они выполняют разные действия, узнают из обратной связи, улучшился ли результат, а затем закрепляют те действия, которые работают, т.е. модифицируют алгоритмы на протяжении множества повторов до тех пор, пока не будет достигнут наилучший результат.
Удачным примером использования Reinforcement learning является робот, который учится ходить. Сначала робот делает большой шаг вперед и падает. Результатом этого падения является точка данных, на которую реагирует система Reinforcement learning. Поскольку обратная связь была отрицательной – падение, система корректирует действие, чтобы попытаться выполнить меньший шаг. Теперь робот устойчиво может двигаться вперед.
Одним из самых удивительных примеров применения Reinforcement learning является компьютерная игра Atari Break Out. Цель игры заключалась в том, чтобы максимизировать счет, и компьютер должен был перемещать панель внизу монитора, от которой отскакивает мяч, чтобы разбить кирпичную стену в верхней части экрана. Вы можете посмотреть видео здесь и увидеть, как вначале алгоритм совершает много ошибок. Затем он быстро обучается и вскоре начинает играть даже лучше, чем человек.
Отличие Deep learning от Reinforcement learning
Обе системы обучаются самостоятельно. Разница заключается в том, что Deep learning – это система, которая обучается на основе имеющихся данных, а затем применяет эти знания для новых данных, в то время как Reinforcement learning работает путем корректировки действий, основанных на непрерывной обратной связи, чтобы улучшить результат.
Deep learning и Reinforcement learning не являются взаимоисключающими. Фактически, можно применять Deep learning в системе Reinforcement learning. И это будет уже Deep reinforcement learning. Но это уже тема следующей статьи.
