FIT5196 Seminar Week 4
本页目录· 96 条
- 本周在课程中的位置
- 可以这样理解：
- 什么是探索性数据分析（EDA）
- 为什么重要
- 可以这样理解：
- 为什么本周一直强调“先识别数据类型”
- 数据类型会影响什么
- 常见数据类型整理
- 这一点为什么特别关键
- 理解数据类型
- 适当分析
- 有效的可视化
- 数据清洗和预处理的正确方法
- 有效的特征工程
- 适用于更佳性能的算法和模型
- 确保数据完整性
- 数值数据（Numerical Data）的 EDA
- 描述性统计（Descriptive Statistics）的核心作用
- 集中趋势（Central Tendency）
- 均值、中位数、众数
- 老师强调的真正重点
- 一般可以这样判断：
- 为什么不能只算一个数就完事
- 离散程度（Dispersion）
- 常见指标
- 极差
- 四分位距
- 方差
- 标准差
- 四分位距（IQR）为什么重要
- 方差和标准差在干什么
- 老师补充的理解方式
- 异常值（Outliers）怎么理解
- 课程里讲到的一个常见判断思路
- 数值数据的可视化（Visualization）
- 常见图表及作用
- 直方图 Histogram
- 箱线图 Boxplot
- 散点图 Scatter Plot
- 热力图 Heatmap
- 箱线图（Boxplot）图里到底在表达什么
- 但老师特别提醒
- 散点图（Scatter Plot）有什么价值
- 高维数据（High-dimensional Data）怎么办
- 核心难点
- 常见思路
- 但要注意
- 老师对可视化选择的提醒
- 文本数据（Text Data）的 EDA
- 文本 EDA 在看什么
- 什么是语法（Syntax）
- 什么是语义（Semantics）
- 什么是主题搭配（Topical Collocation）
- 文本数据预处理（Text Data Pre-processing）
- 编码（Encoding）为什么要做
- 一位有效编码（One-hot Encoding）
- 例子理解
- 它适合什么情况
- 局限
- 标签编码（Label Encoding）
- 它什么时候更合适
- 和 One-hot 的区别
- 计数向量化（Count Vectorizer）
- 基本流程
- 课件例子的核心意思
- 这一步为什么重要
- 分词（Tokenization）
- 常见分词层级
- 为什么它重要
- 可以这样理解：
- 大小写归一化（Case Normalisation）
- 它的好处
- 但它不是永远都该做
- 所以更准确的说法是
- 去停用词（Removing Stop Words）
- 为什么常常要删掉它们
- 可以这样理解：
- 词干提取（Stemming）与词形还原（Lemmatization）
- 词干提取（Stemming）
- 词形还原（Lemmatization）
- 两者区别
- 本周几个特别容易考/特别容易做错的点
- 1. EDA 不是“可有可无的前置步骤”
- 2. 先认数据类型，再决定分析方法
- 3. 没有哪个“中心指标”永远最好
- 4. 数值统计不能脱离可视化单独看
- 5. 箱线图只能找“候选异常值”
- 6. 高维数据没法靠一张图完全展示
- 7. 文本分析不能只把句子粗暴拆开
- 8. 文本任务通常从分词开始
- 9. 大小写归一化不是无脑必做
- 10. 停用词、词干提取、词形还原都是“降噪”和“统一表达”的过程
- 11. 做报告时，图不是越多越好
- 12. 文本 EDA 不要把词云当核心分析结果
- 本周和 Assessment 1 的关系
- Summary
Chatgpt 说
本周在课程中的位置
- 上周课程主要在讲数据发现（Data Discovery）和数据收集（Data Collection）。
- 这周课程接着往下走，开始处理一个更实际的问题：数据拿到以后，先怎么“看懂它”。
- 因此，本周内容的核心就是两件事：
- 做探索性数据分析（Exploratory Data Analysis, EDA）
- 按数据类型做基础预处理（Pre-processing）
- 它在整门课里的作用很关键，因为它连接了：
- 前面的“数据从哪里来”
- 后面的“数据怎么清洗、怎么建模、怎么分析”
可以这样理解：
- Data Discovery / Collection 像是在找原材料、把原材料收集回来。
- EDA 像是在正式做菜前，先检查这些材料有没有坏、够不够、有什么特点、值不值得继续用。
- Pre-processing 就像把材料洗净、切好、整理成后面分析模型能直接使用的样子。