100 天学会爬虫 · Day 10：为什么你的爬虫总被封 IP？反爬机制的第一次系统认知
当你完成了前 9 天的学习，大多数人都会进入一个“必经阶段”：
代码没问题
接口也找到了
XPath / CSS 都能解析
但程序跑一会儿就开始报错
常见表现包括：
返回403 Forbidden
返回429 Too Many Requests
访问速度越来越慢
数据突然为空
程序第一次能跑，第二次就不行
如果你也遇到过这些问题，那么恭喜你 ——
你已经正式踏入了“反爬虫世界”。
🔍 一、什么是反爬？为什么网站一定要反爬？
反爬虫（Anti-Crawler），本质是网站为了保护自身资源而采取的一系列策略。
网站反爬的主要原因只有三个：
1️⃣ 防止服务器被压垮
爬虫的请求频率远高于正常用户。
2️⃣ 防止数据被批量采集
尤其是价格、内容、用户数据、商业数据。
3️⃣ 保护业务和利益
很多网站的数据本身就是核心资产。
所以可以明确一点：
不是你写错了代码，而是网站不欢迎“非人类访问”。
🧠 二、网站是如何“发现”你是爬虫的？
这是 Day 10 的核心内容，我们来第一次系统拆解。
✅ 1. 访问频率异常（最常见）
正常用户：
一秒 0–2 次请求
有停顿、有跳转、有随机性
爬虫常见：
1 秒几十次
请求间隔固定
行为高度规律
👉服务器第一眼就能识别
✅ 2. IP 行为异常
即使你只访问一个页面，如果：
同一个 IP
短时间内请求大量不同 URL
访问深度远超普通用户
服务器会判定为：异常 IP 行为
✅ 3. Headers 特征异常
例如：
User-Agent 不像浏览器
Referer 缺失或异常
Headers 过于“干净”
多次请求 Headers 完全一致
这在服务器日志中非常明显。
✅ 4. Cookie / Session 不合理
常见问题：
不带 Cookie
Cookie 不更新
Session 不连续
登录后状态丢失
服务器会判断你“不像真实用户”。
✅ 5. 行为路径不合理（进阶）
真实用户：
首页 → 列表 → 详情 → 返回 → 下一页
爬虫常见：
直接请求接口 → 无限翻页 → 高速循环
路径不自然，也会触发反爬。
🚨 三、被封 IP 时，服务器通常会返回什么？
你在爬虫中最常看到的几种情况：
| 表现 | 含义 |
|---|---|
| 403 Forbidden | 拒绝访问 |
| 429 Too Many Requests | 请求过快 |
| 返回空数据 | 软封 |
| 返回验证码页面 | 人机验证 |
| 请求超时 | 被限流 |
| 强制跳转登录页 | 权限失效 |
其中403 / 429是最经典的“第一层反爬”。
🧭 四、新手最容易犯的 5 个错误
这是我见过最多的情况：
❌ 错误 1：疯狂 for 循环请求
for i in range(10000): requests.get(url)这是“自杀式爬虫”。
❌ 错误 2：请求间隔完全固定
time.sleep(1)真实用户不会 100% 精准 1 秒一次。
❌ 错误 3：所有请求 Headers 一模一样
服务器非常容易识别。
❌ 错误 4：不使用 Session
请求之间毫无关联性，看起来像“脚本”。
❌ 错误 5：被封了还一直重试
这会让 IP 被封得更彻底。
🧩 五、反爬的“层级认知”（非常重要）
反爬不是一步到位的，而是分层的：
🟦 第一层（你现在遇到的）
IP 频率限制
Headers 校验
Cookie 校验
👉90% 新手卡在这里
🟦 第二层（后续会学）
Token / 参数加密
行为校验
验证码
🟦 第三层（工程级）
浏览器指纹
行为轨迹分析
风控模型
📌你现在的阶段：第一层，完全正常。
🛠 六、Day 10 你应该掌握的“正确心态”
非常重要的一点：
被封 IP ≠ 失败
被封 IP = 你开始写“真正的爬虫”了
接下来你应该做的是：
控制请求频率
加随机延迟
使用 Session
合理设置 Headers
让请求行为更像真实用户
而不是疯狂改代码结构。
📌 七、Day 10 到 Day 20 你将学到什么？
从今天开始，接下来的内容会逐步进入：
如何控制请求频率
如何设计爬虫访问节奏
如何降低封禁概率
IP 在反爬体系中的位置
动态访问策略
稳定爬虫的基本方法
但全部都会以“技术原理”来讲，不会出现任何广告。
✅ 总结
今天你完成了一个非常重要的转折点：
✔ 明白了什么是反爬
✔ 知道网站如何识别爬虫
✔ 理解了 IP 封禁的本质原因
✔ 学会区分常见封禁表现
✔ 建立了反爬的第一层认知
从今天起，你已经不再是“只会抓页面的新手”，而是开始理解网站对抗逻辑的爬虫学习者。
如果你在实际爬虫中遇到：
不知道为什么被封
请求一段时间后失效
403 / 429 频繁出现
行为看起来已经很“正常”
想判断是频率问题还是策略问题
可以加我微信cpseagogo，一起从反爬逻辑角度分析原因。