原标题:《Creepy Crawlies》 评分: 1161 | 作者: zdw 💭 PoW 真能拦住爬虫,还是只会先拦住人类? 🎯 讨论背景 这篇讨论围绕 git.kernel.org 和 cgit(Git 仓库的 Web 前端)被大量爬虫访问展开,原文说站点用了 Anubis(一个基于 JavaScript proof-of-work 的反爬门禁)来挡住 bot。评论里把问题扩大到 AI crawler、residential proxy(住宅代理)和 proxy SDK(把电视、手机变成代理节点的商业 SDK),因为这些流量会伪装成普通住宅用户并不断轮换 IP。cgit 之所以特别难防,是因为它会把 commit、diff、blame、history 等多种视图展开成巨大的 URL 空间,导致缓存和黑名单都很难奏效。于是大家开始讨论更系统的方案:登录、micropayments、robots.txt V2、Web Bot Auth、honeypot、法律追责,甚至直接把 HTML 前端移到客户端;Cloudflare(CDN/反 DDoS 平台)也被拿来当作现实中的折中方案,