Экосистема данных. Архитектор данных, аналитик данных, data engineer

Экосистема данных. Архитектор данных, аналитик данных, data engineer, потребители данных, data ecosystem
Экосистема данных. Архитектор данных, аналитик данных, data engineer, потребители данных, data ecosystem

Опыт «экосистемы данных»

Путешествие по моим познаниям в мире данных — в этой статье описывается, как данные обрабатываются и потребляются в организации, производящей продукт, и как различные профессиональные роли взаимодействуют с данными на различных этапах их жизненного цикла.

Данные были ценным товаром уже более десяти лет. Это не только изменило способ развития нашей цивилизации, но также предоставило нам новую перспективу, с которой мы смотрим на наши навыки и профессиональный рост. Для человека, который начинает работать с данными, очевидно, важно понимать, что такое данные и как их обрабатывать и использовать. Но также важно понимать, что означает работа с данными, каковы ее различные формы, кто их использует и как. Такие люди должны уметь определять, какую роль они играют в этой экосистеме и в чем они могут развиваться. В то же время они также должны осознавать потребности других людей в этой экосистеме, чтобы понимать постановки проблем и находить лучшие решения.

Эта статья представляет собой обобщенный отчет о моем опыте работы в качестве специалиста по обработке данных в организации, специализирующейся на продуктах Video OTT (B2C). Цель здесь состоит в том, чтобы описать, как может ощущаться экосистема в современных компаниях, производящих продукты, управляемые данными, каковы различные стадии ее жизненного цикла и кто в этой экосистеме является производителями и потребителями. Данные связаны не только с инженерными и техническими концепциями, но и с принятием решений и операциями, если они должным образом переведены на разведку.

Опыт уникален — эта экосистема также уникальна для одной организации и может быть неприменима где-либо еще. Идея состоит в том, чтобы дать представление о его работе людям, которые плохо знакомы с такой экосистемой.

Познакомьтесь с игроками этой экосистемы!

Хотя данные могут быть всемогущим искусственным ресурсом 21 века, роль, которую люди играют в этой экосистеме, имеет решающее значение. Посмотрим, кто они.

Потребители находятся в центре этой экосистемы — они потребляют предлагаемые продукты и получают преимущества постоянно развивающегося пользовательского опыта. Они — золотая жила этого мира, и их взаимодействие с различными цифровыми продуктами преобразуется в необработанные данные, которые проходят через экосистему.

Перед менеджерами по продуктам и заинтересованными сторонами стоит задача непрерывно создавать ценность как для потребителей, так и для продукта / организации, на которую они работают. Они работают в тандеме, чтобы оправдать ожидания потребителей и улучшить ценностное предложение, предлагаемое их продуктом, одновременно оптимизируя окупаемость вложенных усилий и достигая целей организации.

Архитекторы данных работают с менеджерами по продуктам, чтобы определить, какие необработанные данные необходимо генерировать и как их использовать. Они предоставляют техническую карту видения экосистемы данных, и эта карта облегчает разработку конвейеров обработки данных, информационных панелей бизнес-аналитики, каналов данных и т. Д.

Инженеры по обработке данных опираются на эту основу, настраивая ресурсы и создавая системы для хранения и обработки данных и поддержки аналитических потребностей заинтересованных сторон. Их работа вращается вокруг построения конвейеров данных и поддержания доступности данных в различных формах.

Инженеры по обеспечению качества (QA) играют важную роль, контролируя качество рабочего продукта, создаваемого инженерами по данным, и следя за тем, чтобы ожидания заинтересованных сторон оправдались.

Аналитики данных играют интересную роль, потому что они работают с неизвестным. Они работают над ответами на вопросы, которые задает любой в организации. Они помогают понять уникальное поведение пользователей, создать прогнозы рынка, отладить проблемы и аномалии и многое другое. Они могут работать с техническими, продуктовыми или бизнес-группами и решать различные постановки проблем.

Аналитик — это тот гаечный ключ в ящике для инструментов, который можно отрегулировать для завинчивания гаек и болтов разного размера, а также получить дополнительную ценность.

Наконец, есть специалисты по данным — они несут бремя вытаскивания кролика из шляпы. Их роль заключается в получении более глубокого понимания путем анализа данных и использования науки о данных и передовых методов аналитики. От прогнозного моделирования до создания рекомендательных систем их работа остается неструктурированной, но очень ценной.

Эти технические мозги объединяются для создания потрясающих аналитических рабочих продуктов, которые информируют организацию о поведении своих потребителей и помогают заинтересованным сторонам принимать более обоснованные решения каждый день.

Аспекты данных — как они воспринимаются?

Различные игроки в экосистеме данных по-разному взаимодействуют с данными, и это взаимодействие определяет, как они воспринимают данные и что с ними делают. В 2006 году, когда Клайв Хамби придумал фразу «Данные — новая нефть», он провел безошибочное сравнение двух ресурсов. Также как нефть проходит различные стадии, такие как добыча, очистка и хранение; некоторые люди ценят данные в грубой форме, некоторые используют только обработанную форму, а некоторым просто нужно понимать ее характеристики, чтобы хранить и обрабатывать их.

В этой экосистеме данные имеют 3 аспекта. Эти аспекты, хотя и видимые и доступные для всех, имеют большее значение только для нескольких игроков.

  1. Объем и характеристики — этот аспект наиболее заметен и актуален для участников разработки данных, поскольку они отвечают за понимание структуры и размера данных, их хранение, обработку и создание аналитических рабочих продуктов, таких как отчеты, модели и анализы. Хотя они также сталкиваются с двумя другими аспектами, актуальность для их обязанностей ниже и действует только как дополнительные знания для их понимания экосистемы, которые могут помочь им найти лучшие решения.
  2. Паттерны и поведение — этот аспект наиболее важен для аналитиков и ученых. Их ответственность — запачкать руки и найти ответы, которые никто не знает, как разгадать. Они изучают скрытые закономерности и поведение потребителей, чтобы решать поставленные задачи, которые всегда носят исследовательский и диагностический характер. Их рабочий продукт часто вносит свой вклад в работу архитекторов и инженеров данных в форме разработки новых производственных процессов.
  3. Обобщенная информация — этот аспект наиболее важен для участников экосистемы, принимающих решения. Менеджеры по продуктам и заинтересованные стороны выполняют различные операционные (повседневные), а также стратегические (долгосрочные) функции с помощью информационных панелей отчетности, результатов прогнозных моделей, аналитических данных на основе специального анализа и т. Д. на этих аналитических инструментах для улучшения восприятия продукта и создания ценности для потребителя и организации.

Эти взаимодействия могут быть не такими эксклюзивными, как могло показаться выше, и любой участник экосистемы может столкнуться с изрядным совпадением. Заинтересованные стороны могут никогда не получить доступ к необработанным данным или их метаданным, поскольку они могут быть технически не оснащены для их использования, но ничто не мешает инженеру по данным или контролю качества потреблять и понимать обобщенную информацию, представленную этим заинтересованным сторонам. Это может быть просто упражнение, чтобы лучше понять влияние их работы или усилие повысить их знания о продукте или организации, в которой они работают. Точно так же, хотя работа специалистов по анализу данных может носить сугубо технический или статистический характер, чаще всего им необходимо глубоко понимать различные бизнес-функции и динамику рынка, чтобы лучше понять формулировку проблемы.

Можно с уверенностью сказать, что любой профессионал, у которого есть твердое представление о том, как все эти аспекты взаимодействуют друг с другом, будет очень функциональным в этой экосистеме и, возможно, сможет создать большую ценность, чем другие.

Что происходит с данными?

Выращивание нашего урожая — получение данных

Важным компонентом экосистемы данных является точная генерация необработанных данных. Потребительские приложения могут иметь различные функции и возможности, разветвленный пользовательский интерфейс, видеопроигрыватели, платежные шлюзы и т.д. архитектура регистрации событий. Правильно спроектированная архитектура может помочь вам понять ценную поведенческую информацию о большой части вашей пользовательской базы; с другой стороны, плохо спроектированная система регистрации событий может привести к потере ценной информации.

Большинство экосистем полагаются на взаимодействие между интерфейсной и серверной системами для создания журналов событий для взаимодействия с пользователем. Каждый раз, когда пользователь взаимодействует с определенной функцией, в системы приема данных отправляется журнал событий, содержащий различные переменные и параметры, определяющие зафиксированное событие.

Скажем, пользователь пытается найти видео в приложении, когда он нажимает на поиск, запрос отправляется на серверную службу для поиска, а ответ отправляется обратно во внешний интерфейс, представляющий несколько релевантных результатов поиска для пользователя. Этот процесс включает в себя создание журнала событий из серверной и клиентской систем, который попадает в хранилище данных и сохраняется в виде необработанных данных для различных аналитических сценариев использования. Этот журнал может содержать различные атрибуты, такие как ключевое слово поиска, результаты поиска, язык и т. Д., Которые позже могут помочь понять, что пользователи ищут, или оценить качество обслуживаемых результатов поиска.

Здесь важную роль играют менеджеры по продуктам и архитекторы данных, которые понимают и решают, какую информацию нужно собирать и как ее можно включить в архитектуру сервисов.

Фабрики разведки — Платформа данных

Системы бизнес-аналитики уже довольно долгое время являются важной частью процесса принятия решений в любой компании, и они постоянно развиваются с развитием технологий управления и обработки данных. В нашей экосистеме хорошо спроектированная платформа данных помогает организации создавать стратегии, основанные на данных, и расширять ассортимент продуктов для наших потребителей.

Данные собираются из различных источников — журналы событий из потребительских приложений и серверных служб, метаданные контента от внешних поставщиков, платежные транзакции от платежных партнеров, данные взаимодействия из учетных записей социальных сетей, данные обслуживания клиентов и т. Д. Все эти данные должны быть должным образом обработаны. , эффективно хранятся и обрабатываются с целью извлечения информации. Команда инженеров данных берет на себя эту задачу, где архитекторы данных вместе с инженерами данныхсоздать платформу для сквозной обработки данных. Они настраивают конвейеры приема данных, проектируют хранилище данных с несколькими витринами данных, создают процессы ETL для удовлетворения потребностей различных бизнес-отчетов и строят эти отчеты с помощью одного или другого инструмента визуализации корпоративных данных. Они также гарантируют, что возможна интеграция со сторонними сервисами, чтобы настроить потоки данных между ними.

Команда Data Engineering в тандеме с менеджерами по продуктам создает различные аналитические рабочие продукты — информационные панели, сводные отчеты, прогнозные модели, графики знаний и различные исследовательские анализы. Эти продукты являются результатом различных требований со стороны заинтересованных сторон и инициатив в области управления продуктами и разработки. Профессионалы сотрудничают, чтобы понять, какой продукт будет соответствовать их вариантам использования, и документируют свою версию требований, которая затем обсуждается с инженерами, чтобы воплотить ее в жизнь. QA инженерывнести важный вклад в этот процесс, понимая эти требования и обеспечивая высочайшее качество и точность результатов. Они подтверждают факты, представленные в любом отчете в форме агрегатов, оценивают использование этих продуктов с точки зрения потребителей и следят за тем, чтобы любые проблемы, поднятые заинтересованными сторонами, были своевременно устранены.

Важным компонентом экосистемы является демократия данных . Бремя хранения и управления данными может лежать на группах инженеров, но каждый должен иметь возможность использовать и анализировать этот ресурс. В наши дни все больше и больше бизнес-стратегий основываются на данных, поэтому логично, что лица, принимающие решения, имеют лучший доступ к данным. Функциональные группы работают со своими аналитиками для создания настраиваемых информационных панелей и анализов, которые удовлетворяют их повседневные аналитические потребности. Демократизация данных гарантирует, что понимание бизнеса и отрасли будет легко учтено в процессе решения проблем, и избавит команду инженеров от необходимости инвестировать дополнительную пропускную способность для решения функциональных проблем.

Лоббирование в интересах роста — управление продуктом

Центральная группа менеджеров по продукту и аналитиков руководит разработкой и ростом продукта из его ядра. Менеджеры по продукту работают с различными аспектами продукта — одни управляют разработкой потребительского приложения, а другие управляют ростом бизнес-рынков и своими ключевыми показателями эффективности. Небольшая группа этих менеджеров отвечает за создание и управление экосистемой данных, сотрудничая с группами инженеров, а также с заинтересованными сторонами. Другие менеджеры по продуктам используют эту экосистему для разработки стратегических дорожных карт собственных компонентов продукта.

«Что нам говорят цифры?» — Заинтересованные стороны бизнеса

Эти команды являются основными потребителями всех аналитических рабочих продуктов, созданных в нашей экосистеме. Они определяют стратегии для различных бизнес-операций / рыночных операций, таких как автономный и онлайн-маркетинг для привлечения и удержания пользователей, рабочие процессы рекламы и подписки, получение контента и программирование и т. Д. Они также постоянно оценивают соответствие различных функций продукта рынку и то, как пользователи взаимодействуют с ними. их. Это важно для того, чтобы предлагаемые продукты всегда оставались актуальными для целевой группы.

Эти функциональные требования требуют глубокого понимания поведения пользователей и производительности продукта, которые выполняются множеством своевременных информационных панелей, трекеров производительности, прогнозов и прогнозных моделей, алгоритмов сегментации пользователей… список можно продолжить. В Бизнес Заинтересованные стороны определяют , что они хотят , чтобы отслеживать и как они хотят , чтобы изучить, в сотрудничестве с менеджерами продуктов . Эти требования переходят вниз по дереву к инженерам, которые предоставляют техническую форму для этих требований и создают аналитические продукты, которые предоставляют практические идеи для заинтересованных сторон бизнеса.

Может показаться, что экосистема представляет собой циклическую форму, когда данные, генерируемые потребителями продукта, возвращаются им в форме улучшенного пользовательского опыта и новых функций продукта. Но ценность, создаваемая в этой экосистеме, настолько велика, насколько сильны совместные усилия людей в ней. Плохое сотрудничество, как правило, создает нулевую или низкую ценность для клиентов, в то время как хорошее создает историю. Очень важно определить свою роль в этой экосистеме, чтобы быть как эффективным профессионалом в области данных, так и успешным сотрудником. Престижность!

0 0 голоса
Рейтинг статьи
0
Оставьте комментарий! Напишите, что думаете по поводу статьи.x
()
x