Данных, на самом деле, много. Важно научиться обрабатывать эти данные, стыковать друг с другом и анализировать для того, чтобы бизнесу становилось легче. Работа строится из 4-х крупных блоков.
1 шаг
2 шаг
3 шаг
4 шаг

с

данными

большими

Алгоритм работы

Схема работы
RAW DATA
На этом этапе мы в первую очередь смотрим на задачу, а потом уже на сырые данные, которые у нас есть. Что конкретно нужно, где существует проблема и какие данные нам нужны, чтобы попытаться ее решить? Проводим аудит и собираем недостающие данные, если это возможно.

На этом этапе мы смотрим не только на то, что есть внутри, но и на внешние источники из баз данных. Все сырье, которое мы можем найти для разработки решения. Лайфхак: достаточно много данных находятся в открытых источниках. Компании очень плохо сами собирают данные, часто их недостает. А ведь от клиентов можно узнать больше — анкетирование, опросы.

01


DATA ENGINEERING
На этом этапе происходит преобразование сырых данных в нужный нам формат и поиск трендов. Когда мы поняли, в чем задача и что у нас есть — важно внимательно во всем разобраться. Какие именно данные мы получили, в каком формате, как правильно все это обобщить и состыковать. Часто на этом этапе оказывается, что данные, которые нам предоставили — неактуальные.

Люди поменяли операторов и места работы, и в итоге мы не можем опираться на эти данные. Поэтому надо внимательно посмотреть, как мы можем их освежить и начать собирать в одном месте и в едином формате. Плюс мы смотрим на тонкости и нюансы: какую тенденцию мы замечаем, какие паттерны существуют. Начинается первичный анализ того, что мы получили.

02


ENGINEERING
DATA
DATA MODELING
03
Сборка искусственного интеллекта, его обучение, подпитка новыми данными, усиление наглядности моделей. Мы на предыдущих этапах разобрались, какие данные у нас есть, какие еще есть внешние источники для данных. Плюс мы с ними поработали первичную аналитику.

А дальше мы начинаем полноценную работу с базами данных. У нас есть какие-то предварительные гипотезы, и мы под это уже можем собирать интеллектуальные системы, которые будут обогащать наши данные, подпитывать их из каких-то внешних и дополнительных источников. Мы начинаем уже на основе гипотез данные проверять. То есть программировать некоторые сценарии и смотреть, какой каждый из этих сценариев приносит результат. То самое A/B тестирование.
Например, у нас есть две гипотезы, и мы на разных аудиториях начинаем раскатывать разную рекламу: одной, рациональным людям, даем более структурные сообщения, а другой, людям с развитой эмоциональностью, даем гораздо более яркие и насыщенные изображения. И из этого уже понимаем, работает наша гипотеза или нет.
The best ideas come as jokes. Make your thinking as funny as possible.
DATA
MODELING
DATA MANAGEMENT
Это система принятия управленческих решений на основе данных. Главный вопрос — кто и как будет принимать решения. Есть решения, которые должен принимать человек. Но интеллектуальная система должна максимально облегчить эту задачу.

Создание разного рода дашбордов, подсветка того, что идет так (каких-то зеленых зон) и подсветка того, что идет не так (каких-то красных зон). То есть тебе не нужно сверять огромные массивы данных — это могут делать совершенно спокойно алгоритмы. Управленцы могут на основе этого могут принимать понятные и конкретные решения. Система тоже в зависимости от сценариев может давать рекомендации, визуализировать процессы. И это все для человека!

04


DATA
MANAGEMENT
Хотите пОЛУЧИТЬ консультАЦИЮ?
Кейс компании Accenture
Один из очень крутых примеров — компания Accenture. Она реализовывала проект визуализации дашборда для нефтяников. Есть огромное количество параметров, которые менеджер в этой сфере должен контролировать. И до недавнего времени там сидел человек, который просто видел миллиард цифр, видел взаимосвязи (вот это растет, это падает). Он это дешифровывал и принимал определенные решения.
Предыстория — те, кто связан с нефтяной отраслью знают, что бурение происходит трубой диаметром 11 см. Длина этого ствола может быть от 5 до 10 км. Но нефть не залегает озерами. Многие думают, что ты пробурил дыру и все высасываешь. Это не так. Нефть лежит не очень большими пластами, буквально в несколько десятков метров. И нефть не всегда в жидком состоянии. Она может находится внутри какой-то породы. И вот если ты пробурился до этой породы, то начинаешь разбивать и отсасывать.
И вот эти дашборды как раз призваны отслеживать эти параметры. И когда консультанты Accenture начали с ними работать, они столкнулись с тем, что люди понимают вот в этих бесконечных цифрах. То есть на основе этих цифр они могут прям декомпозировать: ага, здесь происходить то-то, здесь пауза в бурении, потому что они пошли на обед, потому что там часовые пояса, тут происходит промывка скважины, потому что там вот эти 8 цифр и в диапазоне в этом и оно вот так расшифровывается. И это занимает у них буквально минуту. То есть за минуту человек способен какую-то невозможную массу данных переварить.
Задача компании стояла — придумать дашборд.
И вот если ты пробурился до этой породы, то начинаешь разбивать и отсасывать.Но если делать это вертикально, то она быстро закончится. Тогда придумали технологию, которая изгибается по скважине. Труба, по которой вы собираетесь отсасывать нефть, изгибается. И роль этого дашборда в контроле. Потому что если что-то пойдет не так, то все вращающиеся механизмы заклинят и это дорого обойдется компании.
Но таких людей очень тяжело воспитывать. Это должен быть какой-то колоссальный и фантастический опыт.
Чтобы они могли обслуживать в моменте не 4 скважины, а 10. Потому что им не будут нужны эти бесконечные действия. И у них получился, мне кажется, супер крутой и супер фантастический проект.
И задача была придумать дашборд, который бы помогал и упрощал жизнь этим людям.
По крайней мере, с их слов, до сих пор это реализовано у некоторых российских компаний. А в мире до сих пор используют этих великих и талантливых людей. И это тоже про Big Data про принятие решений.
Хотите пОЛУЧИТЬ консультАЦИЮ?
Где можно использовать Big Data
Достаточно частый вопрос: где вообще это применимо. Давайте быстро пройдемся по этому: куда прислоняется вся эта работа с большими данными.
Одно большое направление про создание так называемых Data X, то есть прямо больших данных у себя, структурирование этих данных, создание архитектур, безопасность и про владение этими данными. Очень большая работа!Количество скандалов с утечками только растет. Понять, какие данные есть у вас, что вы можете собирать, как вы можете их обогащать и дальше что-то с ними делать. Например, продавать или на основе них делать какие-то модели и движки.
Самый простой пример скоринговой модели — банковские и кредитные системы, где каждый клиент имеет различного рода данные, кредитную историю, где и как работает и прочее. Составляются скоринговые модели, которые помогают банкам и страховым компаниям очень быстро определять вероятность возврата кредитов или еще чего-то, моделировать поведение. На основе этих скоринговых моделей можно четко просчитывать и строить свою бизнес модель, и понять, что с ними делать.
Скоринг может быть очень разный. Он может быть, условно говоря, медленным и вальяжным, когда мы можем сегментировать клиентов и понимать, какие условия мы можем дать. А может быть то же самое, но на каких-то сверхскоростях. Тот же пример с Грефом, который рассказывал на своем выступлении: «Друзья, у нас есть меньше одной секунды между тем, как человек прикладывает карточку и должен поступить ответ системы, то есть подтверждать эту операцию или не подтверждать. И у нас есть 1 секунда, в которой мы должны придумать какие-то алгоритмы, которые будут вот это все проверять‎».
01
02
Наведение порядка в данных
СКОРИНГ
Собственно, что такое Big Data? Это набор данных, которые собираются из разных источников. На их основе вы можете принимать решения. В производстве и логистике это все легко реализуется. Прямо сейчас мы занимаемся подобным проектом.
03
ПРоизводство и логистика, повышение операционной эффективности, сокращение затрат, машинное зрение.
Кейс крупной косметической компании
Крупная косметическая компания везет свою продукцию на рынок Вьетнама. Вся логистика занимает более 8 месяцев. И в эти 8 месяцев нужно сделать прогноз продаж, а на основе этого прогноза сделать запрос на производстве. Производство закупает сырье, и вся эта цепочка начинает крутиться. И тут вопрос — насколько вообще наша модель прогнозирования спроса адекватная? Потому что любой косяк быстро исправить не получится. То есть, если ты ошибся с прогнозом, то тогда не дополучишь деньги или даже потратишь сильно больше, чем нужно.

Даже в решении этой задачи можно делать какие-то распределительные центры и буферы, которые будут даже на первом этапе выполнять роль демпферов. То есть даже если с прогнозами что-то не то, мы можем быстро догрузить за короткий срок из распределительного центра. И это все про продажи, про операционную эффективность.

Машинное зрение. Кто сталкивался с производственными компаниями видят, что степень роботизации особенно в некоторых отраслях зашкаливает. Чувствуешь себя так, что как будто попал на космический корабль (людей нет, все делают роботы).

Кейс крупной металлургической компании
Последний пример: крупная металлургическая компания, в которой внедряют машинное зрение. Это набор камер, которые могут в режиме реального времени отслеживать качество выпускаемого материала и либо его отбраковывать, либо пропускать дальше. И вот машинное зрение в купе с неким интеллектуальным движком, который может в реальном времени на основе видеоизображения понимать брак или не брак, хорошо с ним или не хоро и так далее — это то, что внедряется прямо сейчас.
Это про анализ клиентов, таргетинг, улучшение клиентского опыта, повышение продаж. Каждый из этих пунктов — это большая отдельная вселенная. Если клиентов много, то можно их разными способами сегментировать, психотипировать, дообогащать данные разными психографическими моделями, всем прикручивать метки и на них крутить рекламу, заточенную специально на этот сегмент.
Создание предиктивных моделей, прогнозирование продаж, рекомендательные системы, системы поддержки управленческих решений, дашборды и так далее. У кого-то может создаться впечатление, что мы здесь пишем отчасти очевидные вещи Но когда мы разговаривали с собственником медицинских клиник в Казахстане и начинали разбираться, что он знает о своих клиентах, какие данные он собирает или не собирает, оказывается, что он ничего не знает и ничего не собирает.

04
05
Маркетинг и продажи
Прогноз и управление
Часть этого всего работает какими-то кусками. Вот сейчас мы для одного из клиентов собственно простраиваем так, чтобы это все работало как единая система. Клиентский опыт — это, в том числе, про сбор удовлетворенности и про детализацию. То есть это тоже какие-то маленькие кусочки Big Data, на основе которых мы можем принимать те или иные решения, выстраивать систему мотивации. То есть вот это все абсолютно рабочие темы.


Конечно же, это все и про повышение продаж и про поиск новых ниш. Примеров этому тоже много. Например, компания, которая играет в тендерах, делает каких-то «пауков», которые могут отслеживать эти тендеры, заявляться на них и дальше минимизировать какие-то человеческие ресурсы
Что касается динамического ценообразования. Например, у вас машина сломана и вам нужны какие-то запчасти. Посмотрите просто сами на себя, сколько вы готовы заплатить за эту запчасть прямо сейчас (какой-то внутренний ваш ориентир). А сколько вы готовы за нее заплатить, если вы сломались и стоите в лесу на дороге или ваша машина уже на подъемнике висит. Огромное количество параметров меняются и для вас какие-то вещи (например, скорость) могут выходить на первый план. Условно говоря, почти каждому товару можно продумать какие-то более тонкие и более гибкие настройки, которые с одной стороны, будут повышать маржинальность бизнеса, с другой стороны — создавать ценность (когда скорость важнее и можно потратить чуть больше денег на логистику, но получить в результате больше денег).



То есть все идет на уровне, что в каждой отдельной клинике есть администратор, который как-то обслуживает каких-то клиентов. При том, что они ничего не рекомендуют им, то есть никак не влияют на продажи. Они просто обслуживают, условно говоря, входящих клиентов. И это в современном мире выглядит уже как-то чудно! Нужно спрашивать у них: кто они, что они, чего они хотят.
Раз они к вам ходят, товы очень много о них знаете. Вы много им можете порекомендовать, записать, напомнить. Если у вас этого нет, какой-то базовой CRM, системы не просто сбора данных, а еще и анализа, то как вы управляете этим бизнесом? Как лиды переходят от стартовой точки до реальных продаж?

Хотите пОЛУЧИТЬ консультАЦИЮ?