1.2 Melbourne Datathon
本页目录· 8 条
1) 目的与收获(学什么)
- 用一次真实 Datathon 把数据科学全流程走一遍:业务 → 数据 → 预测建模 → 评估 → 探索性分析(EDA) → 业务洞见与展示。
- 重点意识:简单有效的基线 + 正确验证,以及外部与行为数据的增广,常常比更复杂的模型更有用。
2) 业务背景(Seek)
- 平台:雇主在 Seek 上发布职位,求职者通过地点/薪资/关键词等检索并点击。
- 数据:职位被分为大类/小类;数据库含 jobs/searches/impressions/clicks 等表;记录关键词与点击历史。
- 痛点:雇主自分类型易出错 → 错分影响曝光与成交;平台还希望更好推荐职位。
3) 任务与数据(Datathon 设置)
- 预测任务:判断一个职位是否属于 “Hotel & Tourism(酒店与旅游)” 类(二分类)。
- 竞赛机制:提供训练集 + 独立测试集;Kaggle in-class 榜单(有私有榜防止过拟合)。
4) 预测分析(Top 团队方法)
3rd:Simply Analytics
- 强基线取胜:对标题/摘要做词袋(BoW/TF-IDF),模型用逻辑回归 + 朴素贝叶斯加权。
- 严格验证:交叉验证 + 网格搜索调参;用 AWS 跑预处理与训练。
- 启示:不要轻视简单方法;先把基线做扎实。
2nd:An achievable solution(Phil Brierley)
- 资深专家用自研工具在末期提交高性能方案。
- 启示:注意竞赛节奏与方案管理。
1st: (☞゚ヮ゚)☞ ☜(゚ヮ゚☜)
- 外部/行为数据增广是关键:
- 搜索者目标类别画像(谁会点这个职位,反推职位真实类别);
- 从文本抽取公司名并到 ABS 商业分类库查询行业分类作为特征。
- 策略:压轴提交,避免被跟单。
- 启示:数据>算法,高价值的外部知识与行为信号能显著抬升效果。
5) 方法与评估要点
- 特征工程:文本(标题/描述),结构化字段(地点/薪资/时间),行为日志(曝光/点击),外部库对齐(ABS)。
- 模型:逻辑回归、朴素贝叶斯,加权/融合常见且有效。
- 验证:交叉验证(CV)、网格搜索(GridSearch);用私有榜/留出集检验泛化,防数据泄露/过拟合。
6) 探索性数据分析(EDA)与展示
Monash Bubble(学生队):R 图形广覆盖
- 主题:职位与搜索者地理分布、按地点的热门查询、移动端使用、时段分布、各州分类、供需、薪资与分类,以及数据科学职位洞察。
- 启示:先用 EDA 扫面多维现象,再收敛问题与假设。
Team 4Quarters(专业队):业务问题导向
- 关注:点击 vs 薪资、类别对比、最受欢迎职位、曝光→点击漏斗、每职位点击数等。
- 启示:把图表转成可执行的业务洞见(定价、类目治理、投放与排序策略)。
7) 可迁移的工作法(Checklist)
- 先做强基线:清洗 → TF-IDF → LR/NB → CV 报告。
- 做数据增广:行为侧(点击/搜索者画像)+ 外部侧(行业分类库)。
- 稳健评估:CV + 私有测试集思维,避免调榜过拟合。
- 结果交付:两条线并行——模型成绩 + 业务洞见PPT(地理/时段/供需/漏斗/薪资)。
- 工程化:脚本化流水线(预处理→训练→验证→导出),云端可复现。
8) 术语速记
- BoW/TF-IDF:文本向量化基线;
- LR/NB:逻辑回归/朴素贝叶斯;
- CV / GridSearch:交叉验证 / 网格搜索调参;
- Feature Augmentation:外部知识与行为日志增强;
- Funnel:曝光→点击等转化漏斗;
- Data Leakage:训练过程“看到”测试信息的风险。