Week-1d-DE-Architectures
本页目录· 10 条
一、数据工程的体系结构（Architectures）
文稿首先以“数据工程架构”为纲，列出了三种以**数据仓库（DW）**为中心的典型来源场景：
- 模型 1：DW（本地数据库作为数据源）；
- 模型 2：DW（外部数据源）；
- 模型 3：DW（其他数据生产者）。
上述划分强调DW面对的多源异构输入，既可能来自组织内部的本地数据库，也可能来自组织外部或更广泛的生产端（如平台、设备、第三方）。
二、数据工程的组成（Components）
资料将数据工程的“构件”分为两大类：数据库与数据仓库。
1) 数据库（Databases）
- 基于关系模型（表结构、数据完整性）；
- 事务管理（与文件系统的对比关注）；
- ACID 事务特性：原子性、一致性、隔离性、持久性。
这些要点强调：数据库以结构化约束与事务保障来支撑在线数据处理和一致性控制。
2) 数据仓库（Data Warehouse）
- 预计算值（Precomputed values）；
- *粒度（Granularity）**的设计与选择；
- 同样建立在关系型技术之上；
- 但必须事先进行模式/结构的预设计。
要义在于：DW通过预建模与预计算提升查询与分析效率，对维度/事实的粒度控制是能否满足分析需求与性能目标的关键。
三、数据工程的工具与流程（Tools & Processes）
1) 工具（Technologies）
- 数据技术：数据库技术、数据仓库技术；
- 大数据技术族：大数据工具、系统类工具（传感器、云等）、编程工具、可视化工具。
文稿明确提出：要从事数据工程，需要掌握上述技术栈。这提示学习路径应覆盖存储—处理—编程—展示的全链路能力。
2) 方法与过程（Methodologies & Processes）
- ETL（抽取—转换—加载）；
- 数据仓库建模；
- 数据分析；
- 存储与优化。
这些被界定为进入数据工程领域所应掌握的理论基础与流程骨架。
四、结构化速览（便于复习）
- 架构视角：以DW为核心，面向本地DB / 外部源 / 其他生产者的多源输入格局。
- 组件视角：
- 数据库：关系模型、事务管理、ACID，保障一致性与完整性。
- 数据仓库：预计算、粒度控制、基于关系技术的预设计体系，面向分析性能。
- 工具视角：数据库/DW 技术 + 大数据/系统/编程/可视化工具；从业者需系统掌握。
- 过程视角：ETL、DW建模、数据分析、存储与优化——构成方法论基线。
五、关键概念的含义解读（结合常识，辅助理解）
下列解释为学习辅助，不等同于原文逐字定义。
- ACID：保证事务操作的可靠性与一致性（原子性/一致性/隔离性/持久性），对应在线写入与并发控制需求。
- Granularity（粒度）：事实表记录的“颗粒大小”（如按日 vs. 按月），影响查询性能、汇总能力与存储成本；太粗失去分析细节，太细增加存储与处理负担。
- 预计算值：在装载/建模阶段提前求出常用指标（如汇总/派生列），换取查询时的速度与稳定的口径。
六、对作业/实践的启示（可操作建议）
- 先定架构与粒度：在DW层确定主题域、事实/维度表及粒度，再考虑报表与可视化。
- 组件分层/职责清晰：把**采集/清洗（ETL）—模型（DW）—消费（BI/分析）**拆分，方便协作与测试。
- 工具成套化：至少覆盖数据库 + DW + 脚本/编程 + 可视化四类工具，形成端到端流水线。
- 过程可复用：把ETL、建模、优化策略模板化（命名规范、作业调度、数据质量校验点）。
- 性能与成本并重：围绕粒度和预计算做权衡，必要时在“计算下推/存储冗余/索引与分区”之间做方案选择。