跳到正文ChatGPT 说 · Jimmy Huang's BlogChatGPT 说
本页目录· 65 条
0. 这一周到底在讲什么？
Week 12 的主题是 Advanced Data Wrangling（高级数据整理）。
前面几周讲的是比较基础的数据整理流程，例如：发现数据、收集数据、清洗数据、转换数据、集成数据、验证数据等。这一周的重点是：
当数据越来越复杂、越来越大、格式越来越多样时，不能只靠人工规则和简单清洗，而要用机器学习、自动化方法、多源数据融合等高级技术来提升数据整理能力。
可以把这一周理解成：
本周最核心的四个主题是：
Automated Data Cleaning：自动化数据清洗
Advanced Imputation Methods：高级缺失值填补
Feature Engineering with Machine Learning：用机器学习做特征工程
Data Integration and Fusion：数据集成与数据融合
1. Data Wrangling 流程回顾
课件先回顾了数据整理的整体流程：
这些步骤不是完全线性的。现实中经常会反复迭代：
选择题理解重点
把数据收集起来
| Data Cleaning | 修正错误、不一致、缺失、重复、异常 | errors, missing values, inconsistency |
| Pre-processing | 为后续分析/建模做准备 | normalisation, tokenisation, encoding |
| Transformation | 改变数据格式或结构 | convert, reshape, aggregate |
| Enrichment | 加入额外信息提升价值 | external data, add context |
| Storing | 保存到数据库、仓库或文件系统 | database, storage, warehouse |
| Validation | 检查数据是否符合要求 | quality check, rules, constraints |
2. Automated Data Cleaning：自动化数据清洗
2.1 基本定义
Automated Data Cleaning 指的是使用自动化方法，尤其是机器学习算法，去识别和修正数据集中的：
错误 errors
不一致 inconsistencies
不准确 inaccuracies
异常 anomalies
缺失 missing values
传统清洗像是“人手动检查 Excel 并写规则”；自动化清洗像是“让系统自动发现哪里可能有问题，并给出修正或标记”。
3. 自动化清洗的三类方法
Rule-based cleaning
Anomaly detection
Data imputation
3.1 Rule-based Cleaning：基于规则的清洗
Rule-based cleaning 使用预先定义好的规则或启发式方法来发现并修正问题。
Rule-based cleaning 就是“我先规定什么是对的，然后用规则去抓错的”。
选择题关键词
看到下面这些词，通常对应 rule-based cleaning：
容易混淆点
Rule-based cleaning 不一定是机器学习。它更像是人工定义规则后让程序自动执行。
3.2 Anomaly Detection：异常检测
Anomaly detection 使用机器学习模型找出明显偏离正常模式的数据点。
Isolation Forest
One-Class SVM
Autoencoders
KNN-based methods
大部分数据点都聚在一起，突然有几个点离大家很远，这些点可能就是异常。
选择题关键词
看到下面这些词，通常对应 anomaly detection：
outlier
abnormal pattern
deviate from the norm
unusual data point
Isolation Forest
One-Class SVM
Autoencoder
关键提醒
所以 anomaly detection 的结果通常需要进一步检查，而不是自动删除。
3.3 Data Imputation：数据填补
Data imputation 指的是预测并填补缺失值。
数据里有空格，不是简单删掉，而是根据其他信息估计一个合理的值填进去。
平均值 / 中位数填补
前后值填补
KNN imputation
回归模型填补
深度学习模型填补
选择题关键词
missing values
fill in
predict missing value
estimate missing value
KNN imputation
容易混淆点
4. KNN 用于社交媒体异常检测的例子
课件用 Twitter / X 评论作为例子，说明如何用 KNN 识别异常内容。
4.1 数据挑战
格式不一致
缺失值
噪声很多
表情符号、缩写、不同语言、图片、无关评论
文本长度差异很大
所以不能直接把原始评论丢给模型，而要先进行预处理。
4.2 Step 1：Data Preprocessing
去除噪声字符
处理 emoji
统一大小写
分词 tokenisation
把文本转换成向量
对图片提取视觉特征
处理缺失字段
模型不能直接“理解”一条评论，所以要先把评论变成数字特征。
4.3 Step 2：Anomaly Detection
看一个数据点周围最近的 K 个邻居。如果它和周围邻居差得很远，或者周围很孤立，就可能是异常。
例如，大多数评论都在讨论猫，但某些评论内容完全无关、语言异常、图片风格完全不同，它就可能被判定为异常。
Quiz 需要理解的逻辑
5. Feature Engineering with Machine Learning：用 ML 做特征工程
5.1 什么是 Feature Engineering？
Feature engineering 是把原始数据变成更适合分析或机器学习模型使用的特征。
原始数据通常不能直接拿来建模。特征工程就是从原始数据中提炼出“模型真正看得懂、用得上”的信息。
5.2 为什么要用机器学习做特征工程？
课件强调：机器学习可以自动发现人类不容易立刻看出来的模式和关系。
人可以写一些简单特征，但复杂数据里的隐藏模式可能很难人工发现，这时 ML 可以帮助自动提取、选择或压缩特征。
6. Feature Engineering 的三类核心任务
Feature generation / extraction
Feature selection
Dimensionality reduction
6.1 Feature Generation / Extraction：特征生成 / 特征提取
Feature generation / extraction 是从原始数据中产生有用特征。
6.2 Feature Selection：特征选择
Feature selection 是从已有特征中挑选最有用的一部分。
已经有很多特征了，但不是每个都有用。特征选择就是留下重要的、去掉没用的或重复的。
选择题关键词
看到下面这些词，通常对应 feature selection：
select important features
remove irrelevant features
reduce redundant features
decision-tree based feature selection
feature importance
6.3 Dimensionality Reduction：降维
Dimensionality reduction 是把很多特征压缩成更少的新特征，同时尽量保留重要信息。
原来有 100 个变量，太复杂了；降维希望压缩成 2 个、3 个或更少的变量，但仍保留主要结构。
让数据更容易可视化
减少计算成本
降低噪声影响
缓解高维数据带来的复杂性
帮助模型更有效学习
7. Feature Extraction 的两个课件例子
7.1 ECG / Cardiac Arrhythmia 例子
课件提到 Cardiac Arrhythmia，即心律不齐分析。
Window Size 是什么？
对于 ECG、音频、传感器等连续信号，模型通常不会一次处理整段数据，而是切成一个个小片段。
为什么 window size 重要？
窗口太小：可能看不到完整模式。
窗口太大：可能混入太多无关信息。
合适窗口：能捕捉关键波形或模式。
选择题中看到 ECG、signal、window size，通常是在考 feature extraction / signal preprocessing。
7.2 Speech Data Analysis 例子
数据集：speech records，也就是音频文件。
原始音频本身不能直接作为普通表格数据使用。
先提取基础声学特征。
再对特征做转换，让它更适合模型。
再用决策树等方法选择有用特征。
最后输出一个结构化的特征数据集。
这个例子的核心考点
8. Dimensionality Reduction：降维
8.1 PCA：Principal Component Analysis
PCA 会寻找数据中变化最大的方向，然后用这些方向来表示数据。
PCA 的目的
PCA 的关键假设
也就是说，如果数据主要沿着直线、平面或线性组合变化，PCA 比较合适。
8.2 PCA 的问题 / 局限
选择题高频陷阱
PCA 不一定能保留最有预测力的特征，它主要保留最大方差方向。
PCA 生成的是新特征，不是简单从原特征中挑几个。
PCA 对 scaling 敏感，所以不同单位的变量通常要先标准化。
PCA 降维后解释性可能变差。
8.3 ISOMAP
如果数据不是平铺在直线上，而是像卷起来的纸、弯曲的流形，ISOMAP 试图沿着数据本身的弯曲结构来展开它。
PCA vs ISOMAP
9. Data Integration and Fusion：数据集成与融合
9.1 Data Integration 是什么？
Data Integration 是把来自不同来源、不同格式的数据整合在一起。
Data Integration 更强调“把不同来源的数据接到一起”。
9.2 Data Fusion 是什么？
Data Fusion 更强调把不同来源或不同模态的数据结合起来，形成更强的判断或决策能力。
Textual features：文本特征
Signal features：信号特征
Visual features：视觉特征
Data Fusion 不只是把数据放在一起，而是让不同数据互相补充，帮助系统做出更好的判断。
9.3 Integration vs Fusion 的区别
选择题判断技巧
10. Multimodal Data：多模态数据
课件中的 clinical decision support diagram 展示了多模态系统。
文本：病历、医生记录、报告
信号：ECG、传感器、语音波形
图像：医学影像、眼底图、MRI、CT
表格：病人基本信息、检测指标
时间序列：智能手表、天气、电力价格
为什么多模态重要？
文本记录能说明医生观察。
ECG 信号能反映心脏状态。
医学图像能显示器官结构。
传感器数据能反映连续变化。
把它们结合起来，系统可能比只看一种数据更准确、更全面。
11. 课件后半部分项目案例应该怎么复习？
课件后半部分有一些 Minor Thesis 和 Monash Energy 项目案例。这些案例大概率不是让你死记项目名字，而是帮助理解高级数据整理在真实研究中的应用。
11.1 Public Health / Clinical / Education 类项目
LLM-based public health support system
Multimodal system for mental health clinician training and coaching
LLM-based learning analytics for stroke education
Living evidence development support tool
AI-based interactive education materials development
数据来源复杂
可能涉及文本、图像、信号、用户行为等多种数据
需要 LLM、机器学习或多模态融合
目标是支持教育、医疗、公共健康或临床训练
11.2 Energy 类项目
课件展示了多个能源领域项目。复习时重点理解“数据整理任务怎么体现”，不需要背所有人名。
这些案例体现的共同主题
12. 本周最重要的概念对照表
13. 选择题高频易混淆点
13.1 Cleaning vs Pre-processing
13.2 Anomaly Detection vs Imputation
13.3 Feature Extraction vs Feature Selection
13.4 Feature Selection vs Dimensionality Reduction
13.5 PCA vs ISOMAP
选择题看到 principal components / variance / linear，多半是 PCA。
选择题看到 manifold / nonlinear / geodesic distance，多半是 ISOMAP。
13.6 Integration vs Fusion
14. 选择题看到关键词时怎么判断？
15. 本周核心逻辑图
16. 最后复习总结
自动化数据清洗不只是写规则，也可以用 ML。
Rule-based cleaning 是基于预定义规则，不等于 anomaly detection。
Anomaly detection 找异常，但异常不一定是错误。
Imputation 是填补缺失值，不是找异常。
Feature extraction 是从原始数据中提取特征。
Feature selection 是从已有特征中挑选重要特征。
Dimensionality reduction 是压缩维度，可能生成新的特征。
PCA 是线性降维，保留最大方差方向，但解释性和 scaling 是问题。
ISOMAP 是非线性降维，适合弯曲/流形结构。
Data integration 强调整合多源数据，data fusion 强调融合多源信息用于判断。
多模态系统常见组合是 text + signal + visual features。
真实项目案例的重点不是背名字，而是理解数据 wrangling 如何支撑预测、诊断、优化和决策。
17. 考前 5 分钟快速记忆版
普通 Data Wrangling：
我发现数据有问题 -> 我手动写规则清洗 -> 我转换格式 -> 我验证结果
Advanced Data Wrangling：
数据太复杂，人工规则不够 -> 用 ML 自动识别异常、填补缺失、提取特征、融合多模态数据
Data Discovery
-> Data Collection
-> Data Cleaning
-> Data Pre-processing
-> Data Transformation
-> Data Enrichment
-> Data Storing
-> Data Validation
原始社交媒体数据
-> 预处理成可比较的特征
-> 用 KNN 找邻近关系
-> 离群或与邻居差异大的点可能是异常
长信号：——————————————
切成窗口：[---][---][---][---]
Input: Speech Signals
-> Basic Feature Extraction
-> Transformation
-> Decision-tree based Feature Selection
-> Output: 84-feature Data Set
非结构化音频
-> 提取声学特征
-> 转换特征
-> 选择重要特征
-> 形成可建模的数据集
原来数据有很多维度
-> PCA 找出最能代表数据变化的几个新方向
-> 用较少的新变量表示原数据
弯曲 / 卷曲的数据结构
-> 通过 ISOMAP 展开
-> 得到更容易理解的低维表示
真实世界数据复杂
-> 来源多、格式多、噪声多、维度高
-> 需要数据摄取、清洗、特征提取、降维、集成、融合和验证
-> 最终服务于预测、优化、决策支持或知识发现
Advanced Data Wrangling
│
├── 1. Automated Data Cleaning
│ ├── Rule-based cleaning：按规则修正
│ ├── Anomaly detection：找异常点
│ └── Data imputation：填补缺失值
│
├── 2. Feature Engineering with ML
│ ├── Feature extraction：从原始数据提取特征
│ ├── Feature transformation：转换成更适合模型的形式
│ ├── Feature selection：挑选重要特征
│ └── Dimensionality reduction：降维保留主要信息
│ ├── PCA：线性、最大方差
│ └── ISOMAP：非线性、流形结构
│
└── 3. Data Integration and Fusion
├── Integration：把多源数据整合起来
├── Fusion：把多模态特征融合起来
└── Decision Support：服务于预测、诊断、优化或决策
Rule-based cleaning = 按规则清洗
Anomaly detection = 找异常点
Imputation = 填缺失值
Feature extraction = 从原始数据提特征
Feature selection = 从已有特征挑重要的
Dimensionality reduction = 把很多特征压缩成更少的新表示
PCA = 线性降维 + 最大方差 + 对 scaling 敏感
ISOMAP = 非线性降维 + manifold
Integration = 多源数据接起来
Fusion = 多源信息融合后帮助决策
Multimodal = text / signal / image / table 等多类型数据一起用