Прогнозная аналитика в области финансов
14 августа
Статьи

Перспективы больших данных

Был взрыв скорости, разнообразия и объема финансовых данных. Активность в социальных сетях, мобильные взаимодействия, журналы сервера, требования рынка в реальном времени, записи работы с клиентами, детали транзакций, информация из существующих баз данных - нет конца этому потоку.

Чтобы понять эти гигантские объемы данных, компании все чаще обращаются за ответами к специалистам по обработке и анализу данных. Которые:

  • Фиксируют и анализируют новые источники данных, строят прогнозирующие модели и проводят имитационное моделирования рыночных событий
  • Используя такие технологии, как Hadoop, NoSQL и Storm для получения доступа к использованию нетрадиционных наборов данных (например, геолокация, данные интенсивности событий) и их интегрирование с более традиционными цифрами (например, коммерческие данные)
  • Осуществляют поиск и хранение все более разнообразных данных в необработанной форме для последующего анализа

Им помогали в этом поиске развитие облачных хранилищ данных и бурное развитие современных (а иногда и бесплатных или с открытым исходным кодом) средств аналитики. Случайное стечение обстоятельств приводит к появлению множества новых финансовых приложений.

Анализ интенсивности событий

Анализ интенсивности событий (так называемый интеллектуальный анализ мнения) применяет обработку с использованием естественного языка, анализ текста и вычислительную лингвистику по отношению к исходному материалу, чтобы обнаружить, что на самом деле думают люди.

Такие компании, как MarketPsy Capital, Think Big Analytics и MarketPsych Data используют его для:

  • Построения алгоритмов по данным настроения участников рынка (например, Twitter-каналы), которые могут сократить рынок, когда случаются бедствия (например, штормы, террористические атаки).
  • Отслеживания тенденций и запуска новых продуктов, ответа на вопросы и улучшения общего восприятия бренда
  • Анализа неструктурированных записей речи из колл-центров и рекомендаций способов сокращения оттока клиентов, продаж и кросс-продаж, а также выявления мошенничества

Некоторые компании, занимающиеся анализом и сбором данных, выступают даже в качестве посредников, собирая и продавая показатели настроения розничным инвесторам.

Автоматизированное управление кредитным риском

Даже там, где оценка кредитоспособности является низкой или плохой, интернет-финансовые компании находят способы одобрить займы и управлять рисками. В регулировании необходимо адаптироваться к революции больших данных, Лэй Яо и Чэнь Вэй обсуждают случай с Alibaba’s Aliloan.

Aliloan - это автоматизированная онлайн-система, предоставляющая гибкие микрокредиты для предприимчивых онлайн-продавцов. Из-за отсутствия залогового обеспечения многие из этих продавцов испытывают трудности с получением средств через традиционные каналы.

  • Чтобы оценить, является ли продавец кредитоспособным, Alibaba собирает данные со своих электронных платежных платформ и анализирует записи транзакций, рейтинги клиентов, отчеты по доставке и множество другой информации.
  • Эти данные подтверждаются проверкой независимой стороны и перекрестной проверкой внешних наборов данных (например, таможенная и налоговая информация, записи по электроэнергии и т. д.).
  • После предоставления кредита Alibaba продолжает следить за использованием средств и оценивать стратегическое развитие бизнеса.

Предприниматели на развивающихся рынках также пожинают свои плоды. Как и Aliloan, такие компании, как Kreditech и Lenddo, предоставляют автоматизированные малые кредиты на основе инновационных методов оценки кредитоспособности. В этих случаях большая часть баллов рассчитывается на основе данных социальных сетей заявителей.

Аналитика в реальном времени

В былые времена финансовым учреждениям мешал разрыв во времени между сбором и анализом данных. Аналитика в реальном времени обходит эту проблему и предоставляет отрасли новые способы:

  • Борьба с финансовым мошенничеством: Банки и компании, работающие с кредитными картами, регулярно анализируют остатки на счетах, схемы расходования средств, кредитную историю, данные о занятости, местоположение и нагрузку других точек данных, чтобы определить, являются ли транзакции честными. При обнаружении подозрительной активности они могут немедленно приостановить учетную запись и предупредить об этом владельца.
  • Улучшить кредитные рейтинги: Постоянная подача онлайн-данных означает, что кредитные рейтинги могут обновляться в режиме реального времени. Это дает кредиторам более точную картину активов, деловых операций и истории операций клиента.
  • Обеспечение более точной цены: Progressive Insurance уже приспосабливает свои принципы деятельности к меняющейся финансовой ситуации клиента. В Интернете физических объектов данные автомобильных датчиков могут помочь страховым компаниям предупреждать своих страхователей об авариях, пробках и погодных условиях. Это ведет к большей безопасности для водителей и меньшим страховым выплатам.

Проект "Миллиардные цены" является примером такого явления в действии. Разочарованные временем запаздывания по индексу потребительских цен (ИПЦ) Бюро трудовой статистики, Альберто Кавалло из Массачусетского технологического института и Роберто Ригобон обратились к данным веб-сайтов.

Каждый день их электронные программы собирали до полмиллиона цен на товары, продаваемые в США, и анализировали результаты. В 2008 году, сразу после того, как Lehman Brothers объявила себя банкротом, их инструментарий смог обнаружить дефляционное колебание цен намного раньше, чем это было сделано в официальном отчете по ИПЦ.

Сегодня банки и другие крупные финансовые учреждения используют PriceStats, коммерческий результат проекта, для анализа инфляционных тенденций по всему миру.

Сегментация клиентов

Как и любая другая отрасль в мире, банки и финансовые учреждения стремятся узнать как можно больше о людях, пользующихся их продуктами и услугами. И хотя у них уже тонна данных - от кредитных баллов и до текущих операций, - они не против того, чтобы поискать их в другом месте.

Как отмечает Сушил Праманик (Sushil Pramanick) в Случаях использования больших данных. Банковские и финансовые услуги, они продолжают приобретать данные у множества розничных торговцев и поставщиков услуг, стремясь получить полный обзор своих клиентов.

Такая сегментация клиентов позволяет им:

  • Предлагать индивидуальные товары и услуги
  • Улучшить существующие выгодные отношения и избежать оттока клиентов
  • Проводить более эффективные маркетинговые кампании и делать более привлекательные товарные предложения.
  • Разрабатывать новые продукты для определенных сегментов заказчиков
  • И многое другое

Прогнозная аналитика

Комбинируя сегментирование с прогнозной аналитикой, компании могут также снизить риски. Например, чтобы решить, могут ли определенные клиенты расплатиться по своим кредитным картам, некоторые крупные банки используют технологию, разработанную компанией Sqrrl. Этот анализ принимает во внимание демографические характеристики ближайших клиентов и делает теоретические расчеты.

Аналогичные успехи были достигнуты в прогнозировании поведения рынка. Когда-то давно (в 2009) высокочастотный трейдинг - быстрый обмен ценными бумагами, оказалось чрезвычайно прибыльным делом. В условиях конкуренции произошло снижение прибыли и возникла необходимость в новой стратегии.

ВЧТ - трейдеры адаптировались при помощи стратегически последовательной торговли, используя большую аналитику данных, чтобы идентифицировать конкретных участников рынка и предвидеть будущие действия. В условиях головокружительных скоростей это дает ВЧТ - трейдерам несомненное преимущество.

Прогнозная аналитика также может использоваться для ранних предупреждений на рынке. В своей статье Количественное определение поведения на финансовых рынках с использованием Google Trends Тобиас Прайс, Хелен Сюзанна Моат и Х. Ойджин Стэнли сфокусировали свое внимание на поведении пользователей поисковых систем.

Изучая данные об объемах поиска, предоставленные Google Trends, они смогли определить онлайн-прототипы для движений на фондовом рынке. Их результаты показывают, что увеличение объема поиска финансово-релевантных терминов обычно предшествует большим потерям на финансовых рынках.

Риски и правила работы с данными. Важность сдерживания данных

Отсутствие межведомственной стратегии данных, когда данные, застревают в неудобных и недоступных "бункерах", и определяют невозможность справиться с огромными объемами информации означает одно - финансовому учреждению предстоит пройти долгий путь, прежде чем он сможет заявить, что имеет дело с большими данными.

Другая ловушка для специалистов по обработке и анализу данных - переоценка информативности данных. Например, Йохан Болен, адъюнкт-профессор Школы информатики и вычислительной техники Индианы, подсчитал, что даже если сигналы торговых социальных настроений достигают точности в 80 процентов, маржа погрешности все еще достаточна для того, чтобы это привело к банкротству.

Это требует определенного сдерживания данных. Как указывает Род Боткин в статье Большие данные открывает новые двери для финансовых аналитиков, инструменты, такие как анализ настроений, должны сочетаться с другими факторами, чтобы разные учреждения могли получить точную картину событий. Он говорит: "Вы хотите увидеть комбинацию настроений и некоторые другие факторы, такие как данные фундаментального анализа, торговую активность и определение тенденций в течении продолжительного периода".

Фактически, рынок уже обнаружил, что ошибочные кредитные алгоритмы могут привести к катастрофическим результатам:

  • В мае 2010 года мгновенный обвал: крупнейшее в истории внутридневное падение промышленного индекса Доу-Джонса, вызвало кратковременную панику на рынке. Американские регуляторы возложили ответственность на агрессивный высокочастотный трейдинг.
  • В апреле 2013 года фейковый твит объявил о том, что Белый дом подвергся террористической атаке. Этот непригодный элемент данных стер за считанные секунды 1% индекса Dow Jones.

И, конечно, есть еще такая маленькая вещь, как конфиденциальность ...

История «анализа данных и финансов»

"Управление денежными средствами - профессия, связанная со сплошным лицемерием; люди говорят, что они могут победить рынок, но в действительности это не так", - Роберт Шиллер

Утром 22 марта 1899 года, в арендованном офисе на пятом этаже Gould Building в Атланте открылась одна компания. За своими столами сидели два брата: Катор и Гай Вулфорд. На двери черными чернилами была сделана надпись: "Розничная кредитная компания".

Известная теперь как Equifax, предприятие Вулфордов стало поворотным моментом в истории финансов. Разведка данных, отмечали в Woolfords, могла быть прибыльной.

Рост отчетов о кредитных операциях

Это начиналось как "Руководство продавца" – книга за 15 долларов в твердом переплете, содержащая список клиентов и информацию об их кредитоспособности. Что давало возможность продавцам и розничным торговцам решать, кому следует доверять личные счета.

Но братья быстро поняли, что 15-центовые кредитные отчеты не оплачивали счетов. В 1901 году они были спасены от полного разорения благодаря кассиру нью-йоркской компании Home Life. Может ли Woolfords предоставить информацию о трех местных заявителях на страхование жизни?

С этого момента компания становится тяжеловесом. Чтобы предоставить точные отчеты о кредитоспособности и страховании, Equifax начал:

  • Сбор данных о здоровье, привычках и моральном состоянии граждан США
  • Изучение данных о занятости и исследование финансовых решений
  • Накапливание статистики по вопросам детства, брака, образования и политики

Они были не одни в этом начинании. В 1969 году TransUnion приобрела 3,6 миллиона карточных файлов, хранящихся в 400 картотечных ящиках - это были ценные активы Кредитного бюро округа Кука (CBCC).

К началу 1970-х годов она заменила этот бардак автоматической подачей ленты на диск.

К 1980-м годам она была частью одного из крупнейших концернов в стране.

Революционная концепция: Кредитные рейтинги

Между тем...

Под безоблачным небом Сан-Рафаэля два выпускника Стэнфордского исследовательского института (SRI) открыли в 1956 году магазин в однокомнатной квартире на Линкольн-авеню.

Билл Фэр был инженером, а Эрл Айзек - математиком. Оба знали о возможностях компьютера в силу своей работы в Министерстве обороны. Оба были в восторге от возможности применения анализа данных для решения бизнес-задач.

В 1958 году Фэр, Айзек и компания FICO отправили письмо пятидесяти крупнейшим кредиторам США, предлагая им новый инструмент: кредитный скоринг.

Как объясняют Ларри Розенбергер и Джон Нэш в Решающем факторе: Сила аналитики для принятия победного решения, это модель прогнозной аналитики:

«... была первой, где использовались данные прошлого периода. Теперь они были в распоряжении финансовых компаний для оценки кредитоспособности человека, основанной на его прошлом поведении. Модель давала оценку, основанную на анализе конкретного набора чисел, связанных с такими переменными, как банковский баланс и платежные записи человека".

Это была революционная идея. Имея обычный счет в руке, крупные кредиторы могли сразу же определить кредитный риск заявителя.

Только одна компания ответила на их письмо.

Оптимизация систем управления

Тем не менее модель Фэр-Айзека стала индикатором будущего финансов. Кредитные карты вытесняли наличные деньги. Мейнфреймы получали все более широкое распространение. Данные становились электронными.

Вся эта информация должна быть организована и использована с пользой:

  • 1960-е годы: Конрад Хилтон установил компьютерную систему IBM для Carte Blanche, которая ежедневно выполняла проверку состояния счетов и отправляла напоминания держателям карт с неоплаченными счетами.
  • 1972 год: Программное обеспечение Айзека для системы автоматической обработки стратегических приложений (ASAP) дебютировала в Wells Fargo. Созданная на основе аналитических моделей, это была первая автоматизированная система обработки кредитных заявок в США.
  • 1975 год: Фэр Айзек разработал первую систему оценки поведения для прогнозирования кредитного риска существующих клиентов.

На рынок, на рынок

Здравые экономисты были в восторге от возможности применения крупномасштабных анализов данных на финансовом рынке.

Возьмем 1973 год (в этом году случился Уотергейтский скандал и люди танцевали на улицах регги ). Немногие заметили, что журнал "Политическая экономика" опубликовал статью Фишера Блэка и Майрона Скоулза, озаглавленную "Ценообразование опционов и корпоративные обязательства". Многим не хотелось читать их описания стохастических дифференциальных уравнений в частных производных.

Тем не менее, создание модели Блэка-Шоулза (как впоследствии ее стали называть) явилось ключевым событием в науке о данных. Благодаря Блэку и Шоулсу, наряду с последующей работой Роберта Мертона, эта модель позволила трейдерам оценить оптимальную цену опционов в долгосрочной перспективе. Это уменьшило риск покупки и продажи базовых активов, спровоцировало бум в торговле опционами и принес Мертону и Скоулзу Нобелевскую премию по экономике.

Гарвард встречается с Йелем

В 1980-е годы выпускник Гарварда и ветеран Вьетнама по имени Карл Кейс был поглощен экономическим проектом. Чтобы изучить колебания национального ценообразования, Кейс на протяжении нескольких лет получал данные о продаже жилья в Бостоне и разрабатывал простейший индекс, чтобы сравнить повторные продажи одних и тех же домов.

В 1985 году Кейс встретился с Робертом Шиллером, экономистом Йельского университета, который интересовался поведенческими аспектами финансовых пузырей. Работая вместе, Кейс и Шиллер добавили данные о жилье из других городов в индекс Кейса-Шиллера - инструмент, который мог отслеживать относительные изменения цен на недвижимость в долгосрочной перспективе.

В 1989 году они подготовили первый эмпирический документ по жилищным пузырям. Анализ больших данных, как они это продемонстрировали, может быть использован во благо. Шиллер предсказал пузырь фондового рынка 2000 года и предупреждал о наступлении Великой рецессии. В 2013 году он также получил Нобелевскую премию по экономике.

Мир уходит в онлайн

Затем дела пошли очень быстро.

Когда мир в конце XX века вошел в онлайн, новая экономика возникла в одночасье. Обмен финансовой информацией вырос в геометрической прогрессии. Компании онлайн-коммерции росли подобно сорнякам. Инвесторы услышали звон Силиконовой долины. В 1999 году было проведено 457 IPO, большинство из которых были техногенными.

  • 1995 год: Появился первый сетевой банк безопасности, первый интернет-банк в мире.
  • 1998 год: PayPal запустила свою услугу по переводу платежей через Интернет.
  • 2000 год: Пузырь dot.com достиг своего предела 10 марта. NASDAQ достиг максимума в 5408.60 пунктов при внутридневной торговле и закрылся на уровне 5048.62.

Интернет также кардинально изменил деловое поведение индустрии финансовых услуг. В первом десятилетии XXI века:

  • Инвесторы со всего мира могли наблюдать в режиме реального времени резкие колебания рынка.
  • Благодаря широкой доступности рыночных данных, инструменты финансового образования и комментарии экспертов были доступны пользователям для самообразования и приобретения знаний об отрасли.
  • Банковские счета, брокерские услуги, управление инвестициями, страхование, кредитные карты, ценные бумаги, фьючерсы - все это и многое другое мигрировало в онлайн-настройки.
  • Социальные медиа стали предоставлять компаниям неформализованный взгляд на мнение потребителей.
  • С появлением мобильных устройств, финансы вышли на улицы, обеспечивая круглосуточный доступ во все дни недели для каждого участника.