Day 105 — 阶段项目：数据分析 Pipeline | 图解

Pipeline 架构图

┌─────────────────────────────────────────────────────────┐
│                    数据分析 Pipeline                     │
│                                                         │
│  ┌─────────┐   ┌─────────┐   ┌─────────┐   ┌────────┐ │
│  │ 数据源   │──▶│ 清洗层   │──▶│ 分析层   │──▶│ 输出层 │ │
│  │         │   │         │   │         │   │        │ │
│  │ • CSV   │   │ • 去重   │   │ • 统计   │   │ • 图表 │ │
│  │ • API   │   │ • 缺失值 │   │ • 分组   │   │ • JSON │ │
│  │ • DB    │   │ • 异常值 │   │ • 聚合   │   │ • HTML │ │
│  │ • Excel │   │ • 类型   │   │ • 趋势   │   │ • PDF  │ │
│  └─────────┘   └─────────┘   └─────────┘   └────────┘ │
│       │              │              │             │      │
│       ▼              ▼              ▼             ▼      │
│  ┌─────────────────────────────────────────────────┐   │
│  │              日志 & 监控层                        │   │
│  │  • 每步计时  • 错误追踪  • 进度记录  • 指标输出   │   │
│  └─────────────────────────────────────────────────┘   │
└─────────────────────────────────────────────────────────┘

数据清洗决策树

          缺失值比例是多少？
               │
       ┌───────┼───────┐
       │       │       │
     < 5%   5-30%   > 30%
       │       │       │
     删除   填充    删除列
              │
       ┌──────┼──────┐
       │      │      │
     数值列  分类列  时序列
       │      │      │
     中位数  众数   插值

Pipeline 执行流程

启动
 │
 ▼
┌──────┐   成功   ┌──────┐   成功   ┌──────┐
│Step 1│────────▶│Step 2│────────▶│Step 3│──▶ ...
└──────┘         └──────┘         └──────┘
  │ 失败           │ 失败           │ 失败
  ▼                ▼                ▼
 重试(≤3次)       重试(≤3次)       重试(≤3次)
  │                │                │
  ▼                ▼                ▼
 记录日志         记录日志         记录日志
 继续/终止        继续/终止        继续/终止