← 返回 Day 144 正文

Day 144 · 练习与清单

Day 144 — 完成清单与练习

✅ 今日清单

📝 练习题

基础

  1. 给 detect_captcha 增加一个"空响应体"信号(body 长度 < 50 视为可疑),并补充对应测试用例。
  2. 给 02-data-cleaner.py 增加 --dry-run 参数:只输出报告不写文件。

进阶

  1. 布隆过滤器:用 pybloom-live(或手写 bitmap 版)替换 seen 字典做去重,测试 10 万条数据下的内存占用差异。
  2. 告警去重:同一域名 10 分钟内只告警一次,其余聚合为"已重复 N 次"——在 send_alert 外实现告警节流器。
  3. Compose 化:把 Dockerfile 拆成两个服务(scheduler + 独立的 headless-browser 容器走 CDP),写出 docker-compose.yml。

🎯 里程碑

至此 Day 142–144「全栈反爬突破系统」阶段项目完成。下一阶段 Phase 10(Day 146 起):网络安全开发。