Машинное обучение: развитие в геометрической прогрессии
31 августа
Статьи

Машинное Обучение: развитие в геометрической прогрессии.

С каждым годом количество данных демонстрирует экспоненциальный рост. На ручную обработку всех этих данных ушли бы века, но на помощь приходят когнитивные технологии, благодаря которым можно отделить до 75% полезной информации. Ежедневно мы встречаемся с алгоритмами машинного обучения, когда проверяем почту без спама, большая часть которого отфильтрована данными методами, выбираем, какой фильм посмотреть на любимом сайте или в какой ресторан сходить. С помощью машинного обучения, социальные сети формируют индивидуальную подборку новостей. Amazon, один из крупнейших интернет-магазинов, рекомендует пользователям тот или иной товар. Активно пользуются новыми технологиями крупные компании из тех отраслей бизнеса,где необходимо быстро и качественно обрабатывать большие объемы данных:от технических систем, до действий персонала, выявлять сложные связи,чтобы вырабатывать варианты решений. Это позволяет облегчить принятие решения для человека, ответственного за процесс. К таким компаниям можно отнести крупные производства, — представителей нефтяной промышленности, как от технических систем, так и от действий персонала банковской и строительной отраслей, тяжелого машиностроения и так далее. Также машинное обучение применимо в отраслях, где требуется освоение и понимание большого количества информации о новых разработках, учет накопленного опыта, и присутствуют высокие риски при принятии решений. Большой потенциал использования когнитивных технологий - в медицине, где они могут помочь спрогнозировать лучший вариант лечения для каждого пациента с учетом истории его болезни.

За последние 10 лет компаниям удалось собрать немало данных с помощью самых разных каналов, и сейчас пришло время применить алгоритмы к этому массиву информации. Алгоритмы помогут компаниям выйти за рамки традиционного формирования отчетов и глубже проникнуть в суть собираемой информации. Они также будут полезны и в аналитическом прогнозировании, помогая компаниям мгновенно принимать решения. Сбор данных, выявление закономерностей, умная классификация и машинное обучение изменят ситуацию в самых разных отраслях в ближайшие пять лет.

Недавно произошло большое продвижение в использовании нейронных сетей и алгоритмов обучения для обработки естественного языка.  Традиционно модель мешков слов вместе с классификаторами, которые используют эту модель (Maximum Entropy Classifier и др.) успешно применялись для получения очень точных прогнозов. Однако с появлением технологий глубокого обучения (deep learning) и его применения в понимании натурального языка (NLP), было сделано открытие, которое улучшает точность этих методов в двух случаях: использование контролируемой нейронной сети для выполнения ввода через несколько классификаций и бесконтрольные нейронные сети, оптимизирующие выбор в качестве предварительного этапа.

Обучение с учителем: от регрессии к нейронной сети

Классификатор Max Entropy (сокращенно Maxent) является общей вероятностной моделью, используемой в NLP. Учитывая некоторую контекстуальную информацию в документе (в виде мультимножеств, униграмм,биграмм и т. Д.), этот классификатор пытается предсказать ярлык класса(положительный, отрицательный, нейтральный). Этот классификатор также используется в нейронных сетях и известен как слой Softmax -последний слой в сети, используемой для классификации. Таким образом, мы можем моделировать один нейрон в нейронной сети, вычисляя ту же функцию, что и максимальный классификатор энтропии:

Здесь x – наш вектор входов, нейрон вычисляет функцию с параметрами w и b и выводит единственный результат в h.

Тогда, моделируя нейронную сеть с несколькими нейронами,можно просто подумать о том, чтобы одновременно вводить один и тот же набор переменных в несколько разных функций классификации. Нейронная сеть – это нечто иное, как пропуск заданного вектора входов (х на Рис. 1) через многие (в отличие от одной) функции – нейроны, где каждый нейрон представляет собой функцию регрессии. В результате получим вектор выходов:

... И вы можете подавать этот вектор выходов на другой уровень (слой) функций логистической регрессии (или одной функции), пока не получите результат, который является вероятностью того, что ваш вектор принадлежит определенному классу:

Применение нейронных сетей в NLP

В NLP слова и окружающие их контексты очень важны: слово, окруженное соответствующим контекстом, является ценным, а слово, окруженное, казалось бы, нерелевантным контекстом, не очень ценно. Каждое слово сопоставляется с вектором, а нейронные сети могут использоваться для изучения того, какие функции максимизируют оценку вектора слова.

Ценный предварительный этап для любой задачи обучения в NLP (например, классификация отзывов ресторанов) будет заключаться в создании векторов признаков, которые хорошо представляют слова, как обсуждалось в начале этой статьи, эти функции часто обозначаются людьми. Вместо этого для изучения данных функций можно использовать нейронную сеть.

Вход в такую нейронную сеть будет представлять собой матрицу,определяемую, например, векторами слова предложения. К примеру, рассмотрим следующую фразу и связанную с ней матрицу:

Тогда наша нейронная сеть может состоять из нескольких слоев,где каждый слой отправляет вывод предыдущего уровня в функцию. Обучение Осуществляется за счет обратного распространения: получение производных с использованием правила цепи относительно весовых коэффициентов. Исходя из этого, «обучаются» весовые коэффициенты, которые определяют нейронную сеть.После обучения у нас теперь есть метод извлечения идеальных признаков векторов, благодаря которому составляется данное слово.

Рекурсивные нейронные сети

Современные исследователи изучают использование рекурсивных нейронных сетей, чтобы узнать, как предложения разбиваются на древовидные структуры. Эта рекурсивная сеть глубокого обучения может затем успешно научиться сопоставлять аналогичные предложения в одно и то же векторное пространство, хотя они могут состоять из слов, которые означают совершенно разные вещи.

Заключение

В современном мире важно не только обладать большим числом данных, а правильно ими воспользоваться для своих целей. Здесь на помощь как раз приходят методы машинного обучения. Предсказание прибыли, информирование о возможном выходе оборудования из строя, предложение клиенту необходимого товара, визуальная идентификация посетителей, автопилот для автомобиля,написание музыки… – это даже близко не полный список. Наиболее востребовано машинное обучение в ритейле, промышленности, производстве, логистике.

Со временем все больше компаний смогут применять машинное обучение для повышения своей эффективности. Безусловно, исследователи и практики продолжат улучшать алгоритмы и изучать их теоретические свойства.Однако одним из более важных аспектов последних лет становится стандартизация и упрощение применения машинного обучения на практике. Уже сегодня целый ряд библиотек, по большей части с открытым исходным кодом, предоставляют широкие возможности, но для их применения по-прежнему важно понимать основы машинного обучения.

Важно, что с накоплением опыта работы и успешной деятельности в той или иной области, когнитивные системы можно обучать,настраивать, а также задавать режим самообучения. Поэтому когнитивные системы для бизнеса обладают одним важным качеством, которым не обладает ни одна другая система: чем дольше они работают, тем выше их коэффициент полезного действия. Системы сами по себе становятся ценнее для компании в процессе эксплуатации. И важно то, что этот накопленный опыт доступен для сотрудников компании и постоянно, таким образом, используется — повторно, многократно, всегда, когда это необходимо. Обычная ситуация: ушел специалист, для компании потеряны его личные знания и опыт. При внедренной когнитивной системы весь опыт остается в компании и может быть легко передан другим специалистам.

Число компаний, применяющих анализ данных и математическое моделирование бизнес-процессов для монетизации данных, будет расти лавинообразно,пропорционально будет расти необходимость в квалифицированных специалистах,способных строить качественные модели и работать с данными.

Автор: Семеновых Владимир, к.т.н., аналитик данных Тринити для журнала Connect