Scrapling 爬虫工具站

全能网页抓取 · 反爬绕过 · 自适应解析 · 批量处理

检测中...
🎯 通用网页抓取

输入任意网址,自动抓取页面内容。支持反爬绕过、Cloudflare 解锁、动态渲染等。

目标网址
抓取方式

🤖 自动选择

智能判断最佳抓取方式

⚡ Fetcher

纯 HTTP 请求,速度快

🥷 Stealthy

反爬浏览器,绕过检测

🌐 Dynamic

完整浏览器,支持 JS

等待选择器 (可选)
额外等待秒数
提取选项
🛒 商品详情抓取
选择站点
商品链接
💡 说明
  • 1688 国内站:无需登录,自动提取完整商品信息
  • Alibaba 国际站:部分页面可能需要登录
  • 自动提取:标题、图片、价格、规格、店铺信息等
📦 批量抓取

一次提交多个 URL,后台批量处理。最多支持 20 个 URL。

URL 列表 (每行一个)
抓取方式
URL 数量
0 / 20
📸 网站截图

对任意网站进行截图,支持全页面或指定元素截图。

目标网址
视窗宽度
视窗高度
等待秒数
截取元素选择器 (可选,留空截取全页面)
🧠 智能提取

自动识别页面类型,智能提取结构化数据。

目标网址
页面类型
抓取方式
💡 提取类型说明
  • 自动识别: 智能判断页面类型并提取相应数据
  • 文章/博客: 提取标题、正文、作者、发布时间等
  • 商品页面: 提取商品名称、价格、图片、规格等
  • 列表页面: 提取列表项、链接、缩略图等
📋 任务列表
  • 📭
    暂无任务记录
📡 商品解析 API 文档

供外部应用调用的商品数据解析接口,支持 1688/Alibaba 商品详情页抓取,返回干净的结构化数据。

📖 交互式文档
在线测试所有 API 接口
打开 Swagger 文档 →
🌐 通用抓取
POST /api/scrape
抓取任意网页,支持多种抓取方式和提取选项
POST /api/scrape/batch
批量抓取多个 URL,返回任务 ID
🛒 商品抓取
POST /api/product/parse
商品解析API - 供外部应用调用,返回结构化商品数据
POST /api/fetch-detail
抓取 1688/Alibaba 商品详情页 (内部使用,返回原始数据)
� 高级功能
POST /api/screenshot
网站截图,支持全页面或指定元素
GET /api/screenshot/{id}
获取截图文件
POST /api/smart-extract
智能提取页面结构化数据
�📋 任务管理
GET /api/tasks
列出所有任务,支持状态筛选
GET /api/tasks/{task_id}
查询单个任务详情
DELETE /api/tasks/{task_id}
删除指定任务
⚙️ 系统
GET /api/health
健康检查,返回系统状态
GET /api/cookies
查看 Cookie 状态
DELETE /api/cookies
清除 Cookie
� 认证说明
⚠️ API Key 认证
商品解析API需要API Key认证,请在请求头中添加 X-API-Key
参数类型说明
X-API-KeyHeaderAPI密钥,必需
⚙️ 环境变量配置
API_KEY - 调用API使用的密钥
MASTER_KEY - 管理密钥的管理员密钥(可选)
� Python 示例
import requests

API = "https://chong.xinianai.com"
API_KEY = "your-api-key-here"  # 替换为您的API Key

# 商品解析 API (需要API Key认证)
headers = {
    "Content-Type": "application/json",
    "X-API-Key": API_KEY
}
r = requests.post(f"{API}/api/product/parse", json={
    "url": "https://detail.1688.com/offer/1027518271371.html"
}, headers=headers)
data = r.json()
if data["success"]:
    print(f"标题: {data['title']}")
    print(f"价格: {data['price']}")
    print(f"主图: {len(data['images'])} 张")
    print(f"SKU: {len(data['sku'])} 个")
else:
    print(f"错误: {data.get('error')}")
🌐 JavaScript 示例
const API = "https://chong.xinianai.com";
const API_KEY = "your-api-key-here";  // 替换为您的API Key

// 商品解析 API (需要API Key认证)
async function parseProduct(url) {
    const res = await fetch(`${API}/api/product/parse`, {
        method: "POST",
        headers: { 
            "Content-Type": "application/json",
            "X-API-Key": API_KEY 
        },
        body: JSON.stringify({ url })
    });
    const data = await res.json();
    if (data.success) {
        console.log("标题:", data.title);
        console.log("价格:", data.price);
        console.log("主图:", data.images);
        console.log("SKU:", data.sku);
        return data;
    } else {
        console.error("错误:", data.error);
        return null;
    }
}

// 使用示例
parseProduct("https://detail.1688.com/offer/1027518271371.html");
📋 返回数据结构
字段类型说明
successboolean是否成功
urlstring原始请求 URL
titlestring商品标题
pricestring商品价格
imagesarray主图 URL 列表
skuarraySKU规格列表,每项包含 name 和 image
specificationsobject商品规格参数 (键值对)
shopstring店铺名称
errorstring错误信息 (仅失败时返回)
--
运行时间 (秒)
--
已完成任务
--
运行中任务
--
总任务数
🍪 Cookie 状态
📡 API 信息
Base URL: http://localhost:8000
Swagger: /docs →
版本: v2.1.0
引擎: Scrapling
🔑 API 密钥管理

通过环境变量配置密钥。Master Key 用于管理密钥,API Key 用于调用接口。

环境变量配置
API_KEY - 调用API使用的密钥
MASTER_KEY - 管理员密钥(可选,用于创建更多密钥)
Master Key 验证 (需先配置 MASTER_KEY 环境变量)
未配置或未验证
已配置的密钥 (0个)
验证 Master Key 后查看密钥列表
🔧 Scrapling 功能特性
⚡ Fetcher
纯 HTTP 请求,模拟浏览器指纹,速度快
🥷 StealthyFetcher
反爬浏览器,自动绕过 Cloudflare、CAPTCHA
🌐 DynamicSession
完整浏览器,支持复杂 JS 渲染和交互
🔄 自适应解析
页面结构变化时自动适应,稳定提取