为什么需要
做海外产品需要大量数据采集:竞品价格监控、用户评论分析、市场趋势调研。传统爬虫遇到 JavaScript 渲染的页面就抓不到数据。Obscura 是 Rust 写的无头浏览器,内置 V8 引擎,单文件部署,比 Puppeteer 快 3-5 倍,内存占用低一半。
怎么用
bash
# 下载单文件
curl -LO https://github.com/h4ckf0r0day/obscura/releases/latest/download/obscura-x86_64-linux.tar.gz
tar xzf obscura-x86_64-linux.tar.gz
# 抓取页面
obscura fetch https://example.com --dump html
obscura fetch https://news.ycombinator.com --eval "document.title"
# 启动 CDP 服务器(供 Playwright/Puppeteer 连接)
obscura serve --port 9222
# 并行爬取
obscura scrape url1 url2 url3 --concurrency 25
支持 stealth 模式(反检测 + 广告拦截):obscura serve --port 9222 --stealth
使用案例
监控 10 个竞品的定价页面变化:用 obscura scrape 批量抓取,concurrency 25 跑完只要几秒。配合 cron 定时执行,有变化自动通知。比用 Playwright 省 80% 内存。
注意事项
- 开源免费,Apache-2.0 协议
- 单文件,无 Chrome/Node.js 依赖
- stealth 模式可绕过大部分反爬检测
- 首次从源码编译需 Rust 1.75+,约 5 分钟