Data WareHouse Glossary

Вот список топ 50 терминов из сферы хранилища данных, обработки данных и Data Engineering, которые должны знать все аналитики или инженеры данных:

1. Хранилище данных (Data Warehouse): Хранилище данных — это централизованное хранилище, где собираются, интегрируются и хранятся данные из различных источников. Оно предназначено для поддержки аналитических процессов и принятия бизнес-решений. Пример: хранилище данных, используемое для анализа продаж и клиентской активности в компании.
2. Извлечение, трансформация и загрузка (ETL): ETL — это процесс извлечения данных из источников, их трансформации и загрузки в хранилище данных. Он включает в себя шаги очистки, преобразования и агрегации данных. Пример: использование ETL-процесса для извлечения данных из CRM-системы, их трансформации и загрузки в хранилище данных для дальнейшего анализа.
3. Интеграция данных (Data Integration): Интеграция данных — это процесс объединения данных из различных источников в единое представление. Он включает в себя согласование схем данных, слияние записей и устранение дубликатов. Пример: интеграция данных из разных систем учета в единую базу данных для обеспечения единого представления клиентов.
4. Источник данных (Data Source): Источник данных — это место, откуда получаются данные. Он может быть базой данных, файлом, API или любым другим источником информации. Примеры источников данных: база данных клиентов, файлы журналов сервера, API социальных медиа.
5. Реляционная база данных (Relational Database): Реляционная база данных — это тип базы данных, организованный в виде таблиц, где данные хранятся в виде строк и столбцов. Он основан на концепции отношений между таблицами. Пример: MySQL, Oracle, Microsoft SQL Server.
6. Измерение (Dimension): Измерение — это атрибут или характеристика, по которой данные могут быть сгруппированы или классифицированы. Оно предоставляет контекст для анализа фактов. Пример: измерения в аналитической модели могут включать дату, продукт, регион и клиента.
7. Факт (Fact): Факт — это числовая информация или событие, которое анализируется в контексте измерений. Факты содержат метрики и показатели производительности. Пример: количество продаж, выручка, количество клиентов.
8. OLAP (Online Analytical Processing): OLAP — это метод анализа данных, позволяющий выполнять сложные многомерные запросы и агрегировать данные по различным измерениям. Он предназначен для аналитической обработки больших объемов данных. Пример: использование OLAP-куба для анализа продаж по различным измерениям, таким как время, продукт и регион.
9. Агрегация данных (Data Aggregation): Агрегация данных — это процесс суммирования или группировки данных для получения сводных результатов. Он позволяет увидеть общую картину и выполнить вычисления на основе сгруппированных данных. Пример: суммирование ежедневных продаж для получения общей выручки за месяц.
10. Индексирование данных (Data Indexing): Индексирование данных — это процесс создания индексов для ускорения поиска и доступа к данным в базе данных. Индексы позволяют эффективно выполнять операции поиска и сортировки. Пример: создание индексов на столбцы, используемые в частых запросах, чтобы улучшить производительность запросов.
11. Структурированные данные (Structured Data): Структурированные данные — это данные, организованные по определенной схеме или формату. Они имеют четкую структуру с определенными типами данных. Пример: данные, хранящиеся в реляционных базах данных, где каждое поле имеет определенный тип (число, строка, дата).
12. Неструктурированные данные (Unstructured Data): Неструктурированные данные — это данные, не организованные в четкую структуру или формат. Они могут быть в различных формах, таких как текстовые документы, изображения, видео, социальные медиа-публикации. Пример: текстовые файлы, содержимое электронных писем, записи видео или аудио.
13. Семантическая модель (Semantic Model): Семантическая модель — это структурированное представление данных, которое описывает их смысл и взаимосвязи. Она предоставляет абстракцию данных и позволяет выполнять запросы на более высоком уровне абстракции. Пример: использование семантической модели для описания связей между клиентами, продуктами и заказами в системе электронной коммерции.
14. Метаданные (Metadata): Метаданные — это данные, описывающие другие данные. Они содержат информацию о структуре, формате, значениях и связях между данными. Пример: описательные сведения о таблицах, столбцах, типах данных, ключах и отношениях в базе данных.
15. Источник данных (Data Source): Источник данных — это источник, откуда получаются данные для обработки или анализа. Это может быть база данных, файл, API, веб-сервис или любой другой источник информации. Пример: база данных клиентов, API социальных медиа, файловая система.
16. Star Schema: Star Schema — это структура организации данных в хранилище данных, где факты располагаются в центре, а измерения связаны с ними. Это позволяет эффективно анализировать данные по различным измерениям. Пример: использование Star Schema для анализа продаж по продуктам, клиентам и регионам.
17. Snowflake Schema: Snowflake Schema — это расширение Star Schema, где измерения дополнительно нормализуются в отдельные таблицы. Это помогает уменьшить дублирование данных и обеспечивает более гибкую структуру хранилища данных. Пример: использование Snowflake Schema для анализа данных о продажах с дополнительными измерениями, такими как категории продуктов или атрибуты клиентов.
18. Очистка данных (Data Cleansing): Очистка данных — это процесс обнаружения и исправления ошибок, несоответствий и неявно представленных данных. Он включает в себя удаление дубликатов, исправление ошибок ввода, заполнение пропущенных значений и приведение данных к единому формату. Пример: удаление дубликатов клиентов, исправление ошибок ввода в адресах или даты.
19. Денормализация (Denormalization): Денормализация — это процесс объединения данных из нескольких таблиц в одну для повышения производительности запросов. Это позволяет избежать сложных соединений таблиц при выполнении аналитических запросов. Пример: создание денормализованной таблицы, содержащей данные о продажах, клиентах и продуктах для ускорения запросов анализа.
20. Нормализация (Normalization): Нормализация — это процесс организации данных в базе данных, чтобы устранить избыточность и поддерживать целостность данных. Он включает в себя разделение данных на отдельные таблицы и определение связей между ними. Пример: разделение данных о клиентах и заказах на две таблицы и установление связи между ними по идентификатору клиента.
21. Частота обновления данных (Data Refresh Rate): Частота обновления данных — это период времени, с которым данные обновляются в хранилище данных. Это может быть реальное время (real-time), ежедневно, еженедельно, ежемесячно или в других промежутках времени. Пример: ежедневное обновление данных о продажах в хранилище данных для отчетности и анализа.
22. Иерархия данных (Data Hierarchy): Иерархия данных — это организация данных в иерархическую структуру, где элементы данных разделены на уровни или подуровни. Это позволяет выполнить анализ данных на различных уровнях детализации. Пример: иерархия даты, состоящая из уровней год-квартал-месяц-день.
23. Историчность данных (Data Historization): Историчность данных — это способность хранить и отслеживать изменения данных со временем. Он позволяет анализировать данные в разных точках времени и рассматривать изменения и тенденции. Пример: сохранение истории изменений данных о клиентах, чтобы увидеть изменения их личной информации или предпочтений.
24. Интеграционные слои (Integration Layers): Интеграционные слои — это слои или компоненты, используемые для интеграции данных из различных источников. Они обеспечивают связь и согласованность данных перед их загрузкой в хранилище данных. Пример: слой извлечения данных, слой трансформации данных, слой загрузки данных.
25. Логическая модель данных (Logical Data Model): Логическая модель данных — это абстрактное представление данных, которое определяет их структуру, отношения и правила целостности на уровне концепции. Она не зависит от конкретной реализации или технологии. Пример: ER-диаграмма, описывающая сущности, атрибуты и связи между ними.
26. Физическая модель данных (Physical Data Model): Физическая модель данных — это конкретная реализация логической модели данных в определенной базе данных или системе. Она определяет структуру таблиц, типы данных, индексы и другие физические аспекты хранения данных. Пример: SQL-схема базы данных, определяющая таблицы, столбцы и ключи.
27. Индексы базы данных (Database Indexes): Индексы базы данных — это структуры данных, создаваемые для ускорения поиска и доступа к данным. Они содержат отображение значений полей на соответствующие записи таблицы, что позволяет быстро находить нужные данные. Пример: создание индекса на столбец с идентификатором клиента для быстрого поиска клиентов по их идентификатору.
28. Архитектура Lambda: Архитектура Lambda — это архитектурный подход для обработки потоковых и пакетных данных, использующий комбинацию пакетной и потоковой обработки. Он позволяет анализировать и обрабатывать данные в реальном времени, а также в периоды отсроченного времени. Пример: обработка потоковых данных в реальном времени с использованием Apache Kafka и параллельная обработка пакетных данных с помощью Apache Hadoop.
29. Архитектура Kappa: Архитектура Kappa — это архитектурный подход для обработки потоковых данных, в котором потоковые данные обрабатываются в режиме реального времени без необходимости отдельного механизма для пакетной обработки. Пример: обработка потоковых данных с использованием Apache Kafka и Apache Flink без необходимости отдельной пакетной обработки.
30. Бизнес-правила (Business Rules): Бизнес-правила — это логика и ограничения, определяющие правила и процессы, которые должны быть соблюдены в бизнесе или организации. Они определяют, какие операции допустимы и как данные должны быть обработаны в соответствии с требованиями бизнеса. Пример: правила расчета цены продукта, правила проверки допустимости покупки.
31. Параллельная обработка (Parallel Processing): Параллельная обработка — это метод обработки данных, при котором задачи выполняются одновременно и независимо друг от друга на нескольких вычислительных ресурсах. Это позволяет увеличить скорость и производительность обработки данных. Пример: параллельное выполнение вычислений на кластере серверов для анализа больших объемов данных.
32. Бэкап данных (Data Backup): Бэкап данных — это процесс создания копии данных с целью обеспечения их безопасности и восстановления в случае потери или повреждения. Бэкапы могут быть храниться на отдельных устройствах или в удаленных хранилищах данных. Пример: регулярное создание резервных копий базы данных и хранение их на внешнем сервере.
33. Репликация данных (Data Replication): Репликация данных — это процесс создания и поддержания точных копий данных в различных источниках или местах хранения. Репликация обеспечивает доступность данных и повышает отказоустойчивость системы. Пример: репликация базы данных на нескольких серверах для обеспечения высокой доступности и распределения нагрузки.
34. Потоковая обработка данных (Stream Processing): Потоковая обработка данных — это метод обработки непрерывного потока данных в режиме реального времени. Он позволяет анализировать и обрабатывать данные по мере их поступления, что особенно полезно для обработки потоковых событий и быстрой реакции на изменения данных. Пример: анализ потоков данных из сенсорных устройств для обнаружения аномалий или принятия оперативных решений.
35. Машинное обучение (Machine Learning): Машинное обучение — это область искусственного интеллекта, которая изучает методы и алгоритмы, которые позволяют компьютерам «учиться» на основе данных и опыта. Оно позволяет системам автоматически адаптироваться и улучшаться с опытом. Пример: создание модели машинного обучения для предсказания спроса на товары на основе исторических данных продаж.
36. Автоматизация процессов (Process Automation): Автоматизация процессов — это использование технологий и инструментов для автоматизации и оптимизации бизнес-процессов. Она позволяет упростить и автоматизировать рутинные задачи, улучшить эффективность и точность операций. Пример: автоматизация процесса обработки заказов, включая автоматическое создание, обновление и отправку заказов.
37. Логический слой (Logical Layer): Логический слой — это абстрактный слой или компонент, который предоставляет логическое представление данных или функциональности без привязки к конкретной реализации или технологии. Он позволяет абстрагироваться от физических деталей и упрощает разработку и поддержку системы. Пример: логический слой приложения, который предоставляет интерфейс для работы с данными независимо от используемой базы данных.
38. Физический слой (Physical Layer): Физический слой — это конкретная реализация логического слоя или компонента, связанная с конкретной технологией или платформой. Он включает в себя физические аспекты, такие как базы данных, серверы, сетевое оборудование и т. д. Пример: физический слой базы данных, содержащий таблицы, индексы и другие физические структуры.
39. Массовая вставка данных (Bulk Data Insertion): Массовая вставка данных — это процесс загрузки большого объема данных в базу данных или хранилище данных за одну операцию. Это позволяет эффективно загружать и обновлять большие наборы данных. Пример: использование команды INSERT с множеством значений для вставки тысяч строк данных за одну операцию.
40. Управление версиями данных (Data Versioning): Управление версиями данных — это процесс отслеживания изменений данных и управления различными версиями данных. Он позволяет восстанавливать предыдущие версии данных, отслеживать изменения и контролировать историю изменений. Пример: использование системы контроля версий для отслеживания изменений в исходных данных и хранилище данных.
41. Интеграция API (API Integration): Интеграция API — это процесс объединения различных приложений и систем с помощью API (Application Programming Interface). Он позволяет обмениваться данными и взаимодействовать между различными приложениями для обеспечения согласованности и связности данных. Пример: использование API для интеграции системы управления заказами с системой управления складом для автоматического обновления запасов при оформлении заказа.
42. Кластеризация данных (Data Clustering): Кластеризация данных — это метод организации данных на основе их сходства в группы или кластеры. Она позволяет выявлять скрытые структуры данных и группировать их в соответствии с определенными характеристиками или свойствами. Пример: использование алгоритмов кластеризации для группировки клиентов на основе их покупательского поведения или предпочтений.
43. Распределенные вычисления (Distributed Computing): Распределенные вычисления — это метод организации вычислений на нескольких компьютерах или узлах сети, работающих параллельно для решения сложных задач. Это позволяет повысить производительность и масштабируемость вычислений. Пример: использование кластера серверов для распределенных вычислений в задачах обработки больших объемов данных или научных исследований.
44. Интеграция внешних данных (External Data Integration): Интеграция внешних данных — это процесс объединения и совмещения данных из различных внешних источников или систем в центральное хранилище данных. Он позволяет объединить данные из разных источников для создания цельной и связанной информации. Пример: интеграция данных из разных поставщиков или внешних API в систему управления заказами для получения полной информации о клиентах и товарах.
45. Разведочный анализ данных (Exploratory Data Analysis): Разведочный анализ данных — это метод исследования данных с целью выявления особенностей, закономерностей и взаимосвязей между переменными. Он позволяет определить структуру данных, проверить гипотезы и получить предварительное понимание данных. Пример: исследование статистических характеристик данных, визуализация данных и выявление выбросов или корреляций между переменными.
46. Автоматическое распознавание образцов (Pattern Recognition): Автоматическое распознавание образцов — это область машинного обучения, которая изучает алгоритмы и методы для автоматического определения и классификации образцов в данных. Оно позволяет системам распознавать и выделять характерные образцы или структуры в данных. Пример: распознавание рукописного текста, распознавание лиц или обнаружение аномалий в данных.
47. Методы сжатия данных (Data Compression Techniques): Методы сжатия данных — это алгоритмы и техники, используемые для сокращения объема данных без потери информации. Они позволяют экономить место на диске и уменьшать время передачи данных по сети. Пример: использование алгоритмов сжатия, таких как GZIP или ZIP, для упаковки и сжатия файлов данных.
48. Метрики производительности (Performance Metrics): Метрики производительности — это измеримые показатели, используемые для оценки эффективности и производительности системы или процесса. Они позволяют оценить качество работы и оптимизировать производительность. Пример: время отклика системы, пропускная способность, использование ресурсов и другие показатели, которые помогают измерить производительность системы.
49. Управление конфигурацией данных (Data Configuration Management): Управление конфигурацией данных — это процесс управления изменениями и версиями структуры и компонентов данных. Он позволяет отслеживать и контролировать изменения в данных и поддерживать их согласованность и целостность. Пример: использование системы управления конфигурацией для отслеживания изменений в схеме базы данных и контроля доступа к данным.
50. Отказоустойчивость (Fault Tolerance): Отказоустойчивость — это свойство системы или приложения, которое позволяет им продолжать работу и обеспечивать доступность данных и функциональности при возникновении сбоев или отказов. Она достигается путем использования резервирования, репликации и механизмов восстановления. Пример: наличие резервных копий данных, репликация серверов и механизмы обнаружения и восстановления сбоев для обеспечения непрерывной работоспособности системы.

Это лишь некоторые из ключевых терминов, используемых в области хранилища данных, обработки данных и Data Engineering. Знание этих терминов поможет аналитикам и инженерам данных эффективно взаимодействовать с данными и строить надежные и эффективные системы обработки информации.