博客 on Proooxy — 面向 AI Agent 与 LLM 的 RAG 就绪网页数据

2026 年网页抓取最佳实践：一线工程师指南

Wed, 01 Apr 2026 00:00:00 +0000

在构建并维护 15 款生产级爬虫、服务超过 3,100 位用户、成功率保持 >99% 之后，以下是真正重要的实践经验。

我见过最大的错误，就是把爬虫当成单步骤流程。生产级爬虫其实是数据管道：

Sun, 15 Mar 2026 00:00:00 +0000

反爬虫防护是一场军备竞赛。作为每天都要构建生产级爬虫来绕过这些系统的人，这里是我的一线实战视角——这些防护系统究竟在检查什么，合规的绕过技术又是什么样子。