跳到正文 ChatGPT 说 · Jimmy Huang's Blog
← Seminar Week 2 Summary 学习 › C6001 › 2026 S1 › FIT5196 Data wrangling › Week 2 Data Wrangling Process & Tasks › Seminar Week 2 Summary ChatGPT 说 ChatGPT 说 本页目录· 39 条 1. 本周 Seminar 总览 这周的 Seminar 讲的是 Data Wrangling Process & Tasks 。核心不是“把数据洗干净”这么简单，而是把原始数据一步步整理成 能直接拿来分析、建模、汇报、交付 的数据。课件把它放在 Problem Identification 和 Data Analysis 之间；老师在口头解释里把它说得更直接： data wrangling 就是 making data useful ，也就是“让数据真正变得可用”。
这周的主线是一整条流程： Data Discovery → Data Collection → Data Pre-processing → Data Cleaning → Data Transformation → Data Enrichment → Data Validation → Data Storing 。老师反复强调，这些步骤不是孤立的，前后是连着的：你后面想做什么分析，会反过来决定你前面该收什么数据、保留什么字段、用什么格式、最后怎么验证和保存。
从课程角度看，这周其实是在搭整门 FIT5196 的“骨架”。后面不管你学 Pandas、正则表达式、文本处理，还是做 group assignment，本质上都在做这件事： 把 messy data 变成 tidy/useful data 。老师也明显把这周内容和 assessment 连起来讲了很多次，尤其是格式、编码、validation、可运行性、documentation。
2. 核心知识点总结 知识点1：Data Wrangling 的定位与目标 是什么
Data Wrangling 是获取、清洗、结构化、丰富数据，让它变成可分析数据的过程。课件强调它的目标包括： 提升数据质量、统一格式、降低复杂度、便于整合、提高分析效率、支持决策 。
为什么重要
因为分析结果好不好，很多时候不是模型本身决定的， 而是前面的数据准备做得好不好 。老师的意思很明确：客户不会因为你“开了个 Excel”就付钱，而是因为你把数据整理成了可靠、可解释、可用的结果。
和课程整体的关系
这是整门课的核心主题。后面很多技术点，其实都只是这条流程里的具体工具。
怎么理解
可以把它理解成： 分析前的全部准备工作 。不是“顺手整理一下”，而是正式的数据工程/分析工作的一部分。
知识点2：Data Discovery 与 Data Collection 是什么
Data Discovery 是先找出“哪些数据跟问题有关”，并判断这些数据 有没有、能不能拿到、适不适合、质量够不够 。Data Collection 则是在没有现成数据或现成数据不够时，设计并执行数据收集。课件第8–14页和老师讲的病人再入院预测案例，就是这一块。
本页目录 因为一开始拿错数据，后面全白做。老师特别强调：现实里客户往往只会说“我想知道一个答案”，但不一定知道自己该给你什么数据；你的工作是把业务问题翻成数据问题。
这部分决定你后面 Pandas、清洗、转换到底是在处理什么。它是后续所有技术操作的起点。
老师用医院案例讲得很具体：你不能只说“给我病人数据”，而要想到人口统计、病史、就诊记录、治疗计划、保险、设备监测、入院/出院/转院记录，甚至哪些系统、哪些部门能提供这些数据。也就是说， 先想清楚要什么，再去拿 。
知识点3：Data Pre-processing（预处理） 这一部分主要讲三件事： selection、sampling、formatting 。
Selection 是选子集；Sampling 是抽样；Formatting 是统一格式。课件第15–20页是这周非常核心的一段。
原始数据通常太大、太乱、格式不统一，不能直接处理。预处理是在正式清洗和建模前，先把数据整理到“能工作”的状态。
这是最典型的 data wrangling 操作，后面写代码、做 assignment 时很容易直接考。老师还专门用了 AirCrashes 的 subsetting、Facebook 用户 sampling 作为示例。
Subsetting ：不是所有列都要用。没用的 ID、恒定不变的字段、与目标无关的行列，可以先去掉。
Sampling ：当数据大到处理不了时，抽一个“有代表性的小版本”。关键不是小，而是要保留原数据的重要特征。
Formatting ：把日期、数字、小数点、大小写、空格、编码、单位、时区、文件格式都统一。老师尤其强调 空白符、不可见符号、编码 会在作业里直接害你报错。
知识点4：Data Cleaning（清洗） Data Cleaning 是找并处理数据异常，包括： missing values、outliers、duplicates、consistency issues 。课件第21–23页给了典型异常类型。
因为数据有错，分析就会偏。老师特别提醒：人手录入数据本来就容易出错，合并多个来源后也很容易出现重复和不一致。
这是这门课最 “基础但高频”的部分 ，几乎所有作业都会碰到。
最重要的不是“看到异常就删”，而是先判断它是什么：
知识点5：Data Transformation（转换） 转换是把数据从原来的形式变成更适合分析的形式。课件把它分成数值、文本、图像三类。数值部分包括 normalisation、standardization、aggregation、discretisation、binning ；文本部分包括 tokenisation、stemming/lemmatisation、vectorisation ；图像部分包括 resize、grayscale、colour space conversion、rotation 等。
因为“能读”不等于“能算”。分析模型通常需要统一尺度、统一表示方式，尤其是数值、文本、图像这种不同类型的数据。
这是把数据从“整理过”推进到“可分析”的关键一步，和后续建模、NLP、图像处理都能接上。
Normalization ：像把不同单位的尺子统一到同一刻度，便于比较。老师强调它相对“安全”，主要是改范围，不太丢信息。
Standardization ：把数据调到均值 0、标准差 1，便于某些算法处理。
Aggregation ：做汇总表，看均值、最大最小值等。
Tokenisation ：把一句话拆成词，这是文本处理第一步。
Vectorisation / embedding ：把文字转成数字，机器才好处理。
Image transformation ：图像的 resize、翻转、加噪声、亮度对比度调整，本质是在改变图像表示，让模型更容易学。老师还额外讲了 RGB 和 CMYK 的区别，提醒这是“人看图”和“机器/打印处理图”的不同逻辑。
知识点6：Data Enrichment（丰富） Enrichment 是给现有数据“补背景”，包括 data integration、data augmentation、attribute enrichment、temporal enrichment、semantic enrichment。也就是把原数据变得更完整、更有解释力。
单一数据表往往信息太浅。加上时间、语义、额外属性或其他来源数据，才能看到更完整的关系。
这是从“可用数据”走向“更有价值数据”的步骤，直接影响你能不能挖出 insight。
就像一份名单只有姓名和学号价值有限；如果再补上时间、地点、专业、行为记录，数据就更“会说话”。
知识点7：Data Validation 与 Data Storing Validation 是最后检查数据是否 准确、一致、完整、合逻辑、格式正确、无不该有的重复 ；Storing 是把整理好的数据保存到合适的地方和格式里，并考虑安全、效率、备份。课件第39–44页和老师口头提醒都非常实用。
因为到这一步，数据已经不是“草稿”，而是要交给分析、作业评分、甚至客户使用的“成品”。老师把 assignment 直接和这一块绑在一起： 代码要能跑、输出要能验证、格式要对、不能拿错组的数据 。
这是这门课最接近真实交付的一块。你不是只要“做出来”，而是要“交得出去”。
Validation 像交作业前的总检查；Storing 像把最终文件按规范归档。老师特别建议用简单通用的格式，比如 CSV，并重视 backup、效率、indexing、auto save 。
3. 老师强调的重点
本周重点 1： 要理解整个流程，不是只会单个技巧 我判断它重要，因为老师一开始就在回顾“整个数据分析项目的 5 个大阶段”，随后又反复说“every steps connect to each other”，强调你做 preprocessing 时就要想到后面的 analysis 和 storage。这个不是随口一提，而是整堂课的主线。
本周重点 2： Discovery 阶段先尽量想全，再过滤 老师在医院案例讨论时，明显鼓励大家先把所有可能相关的数据都想出来，包括病史、保险、设备、GP、住院记录、风险等级、工作安排等，然后再做筛选。说明她很重视“先发散、后收敛”的数据思维。这个很可能出 scenario 题。
本周重点 3： Formatting / encoding / whitespace 是隐含高频重点 课件把 formatting 作为预处理的一部分讲，但老师口头讲得更重，尤其是日期格式、大小写、不可见符号、编码。她甚至直接把这块和 assignment 的 hidden test data、代码报错、0 分风险连起来讲，所以这是典型“老师没说必考，但明显非常重要”的隐含重点。
本周重点 4： Validation 不是可选项，是交付前最后一道关 老师明确提醒：每组数据不同，结果也应不同；如果你和别组结果一模一样，很可能是用了错数据；如果代码跑不起来、输出不合规范，也会出大问题。这种带“后果提醒”的内容，通常都和作业、quiz、exam 强相关。
本周重点 5： Documentation 很重要 老师专门说了不止一次：你要写清楚每一步做了什么、为什么这么做、结果说明了什么。说明这门课不是只看结果，还看你的逻辑和过程表达，这和 report、group assessment 直接相关。
本周重点 6： Ethics / privacy / security 不能忽视 这块在课件里是挑战和 collection/storing 的一部分，但老师口头特别强调了 thesis 场景： 没拿 ethics approval 之前不要碰数据 。这说明她很把真实研究/行业规范当回事。
本周重点 7： 下周正则表达式会接着用到这周的文本处理思路 老师直接说 regular expression 是这门课最难的话题之一，要来上课。它虽然是下周内容，但本周对 formatting、text processing、symbols、encoding 的强调，其实就是在给 regex 铺路。
4. transcript 里补充的重要信息 下面这些是 课件没写清楚，但老师口头补得很重要 的内容：
现实中的 client 往往问题不清楚、数据也不清楚 。你的职责不是等别人把“正确字段”喂给你，而是自己把业务需求翻译成数据需求。
动态数据是现实问题 。有些数据每天都在新增，你要知道什么时候停下来做分析，不可能无限等数据。
工具可以用，但要理解它 。老师点名提到 ChatGPT、DeepSeek 等工具可以帮忙生成方案，但你自己要懂。
医院案例被展开得比课件更细 ：澳洲的 EMR、GP 信息、私保/Medicare、设备监测、急诊长等待导致记录不完整、老旧医疗系统格式问题、保险公司多源格式不统一等，这些都属于课件标题下的现实解释。
缺失值不等于整份数据废掉 。如果问题集中在某些不关键列，数据仍可能可用。老师明确提醒不要太早下结论。
文本处理最容易在不可见字符上翻车 。老师专门讲了 invisible symbols、Word 会隐藏符号、调试时要小心。这个是 transcript 里比 slides 更具体、也更像作业提醒的部分。
作业会用 hidden test dataset 跑你的代码 。这意味着你不能只在自己那份数据上“刚好跑通”，要写得更稳。
效率和备份是实际要求 。老师提醒大文件的时间常花在读写而不是算；建议用 Colab 或自动保存，不要只存本地。
课程安排提醒 ：in-class participation 从这周开始；group self-selection 要完成；assessment 1 本周发布；课件还要求去看 Pandas 基础视频。
课件和 transcript 里值得注意的“表述差异 / 容易混淆点”
5. 这周最可能要掌握的考点 / 作业相关点
高概率考点 1： 你能不能说清楚整个 data wrangling 流程 这很像 quiz / short answer / exam 基础题。你至少要能解释每一阶段做什么、前后怎么衔接。
高概率考点 2： Scenario-based 题：给你一个项目，问你需要什么数据、从哪来、怎么判断质量 医院 readmission 例子很像模板题。老师花了不少时间让大家脑暴数据类型和来源，这通常不是随便聊聊。
高概率考点 3： Subsetting / Sampling / Formatting 的区别和应用 这三者是本周最“容易出应用题”的内容。尤其 sampling 不是乱抽，而是要和项目目标匹配。
高概率考点 4： 数据异常类型 missing values、outliers、duplicates、consistency issues 是非常标准的考点，也很可能直接体现在作业数据中。
高概率考点 5： Normalization / Standardization / Aggregation / Discretisation / Binning 这一组很适合考“定义 + 适用场景 + 区别”。尤其 normalisation 和 standardization 很容易混。
高概率作业点 6： 格式、编码、隐藏符号、输出验证 这是我认为最强的“隐含重点”。原因不是课件页数最多，而是老师直接把它和 hidden tests、代码报错、0 分风险挂钩。
高概率作业点 7： Documentation / report 老师明确说要写清每一步为什么做、结果说明什么。这种几乎可以确定会体现在 marking rubric 里。
6. 我应该怎么学这周内容
推荐学习顺序 先背熟流程顺序
Discovery → Collection → Pre-processing → Cleaning → Transformation → Enrichment → Validation → Storing。先把框架装进脑子。
再用医院案例串起来理解前两步
重点想：要什么数据、从哪拿、怎么判断是否可用。这样你不会把知识点学成纯定义。
重点攻预处理和清洗
把 subsetting、sampling、formatting、missing values、duplicates、consistency issues 搞熟。这是最实操、也最容易进作业的部分。
再看 transformation
先掌握 numeric 的几个概念，再看 text 的 tokenisation / vectorisation。图像部分先做到“知道是怎么回事”。
最后看 validation 和 storing
这一块要带着“我要交作业”的心态学，不只是记概念。
我必须先搞懂的基础概念
哪些内容属于“理解型”
哪些内容属于“记忆型” 各阶段名称和定义
异常类型名称
transformation 中各术语的基本含义
enrichment 的几种类型
validation 的检查项
哪些内容属于“应用型”
哪些内容只需要了解
哪些内容需要重点掌握 整体流程
discovery / collection 的思路
preprocessing 与 cleaning 的区别
formatting / encoding / whitespace
normalisation vs standardization
validation + documentation + runnable output
最容易混淆的地方 discovery vs collection
preprocessing vs cleaning
normalization vs standardization
discretisation vs binning
stemming vs lemmatisation
enrichment vs transformation
“缺失值” vs “无效值” vs “not applicable”
学完后你应该能回答这些问题 为什么 data wrangling 不是单纯 cleaning？
给一个项目，你怎么列出需要的数据源？
subsetting 和 sampling 有什么区别？
为什么格式不统一会导致程序报错？
anomaly 有哪几类？是不是都该删？
normalization 和 standardization 分别做了什么？
tokenisation、vectorisation 为什么是文本分析前提？
validation 为什么和 assignment 直接相关？
7. 给我一份简短复习清单
8. 如果我是初学者，你再用更简单的话解释一遍 就像你要做饭，不能把刚买回来的菜直接端上桌。你得：
先想今天要做什么菜
这就像先明确问题。
看看家里有没有食材，没有就去买
这就是 discovery 和 collection。
把要用的挑出来，不用的先放一边
这就是 subsetting。
把食材洗干净，挑掉坏的、重复的、奇怪的
这就是 cleaning。
把食材切成适合下锅的样子
这就是 transformation。不同食材要不同处理：
数字要统一尺度，文字要拆成词，图片要改尺寸或颜色通道。
如果味道不够，再加调料或配菜
这就是 enrichment，给数据补更多信息。
上桌前先尝一口，看有没有放错盐、有没有漏东西
这就是 validation。
最后把剩下的装盒、贴标签、放冰箱，还要记得备份食谱
这就是 storing 和 documentation。
Data Wrangling = 把乱的数据，整理成能真正拿来分析和交付的数据。