BASIC INTRODUCTIONS

基本介绍

WebPipe.ai 是一款专为 AI 应用与数据管道设计的网页数据抓取 API。一行代码即可将任意网页转为干净的 Markdown、链接列表、元数据或结构化 JSON。支持 Scrape 单页抓取、Map 链接发现、Crawl 整站爬取、Browser 持久化浏览器会话四大功能，覆盖静态页面、JS 渲染页面、登录后内容等全部场景。免费额度 3,000 pages/月，注册即用，按量付费无订阅。

中文名：WebPipe.ai数据管道
外文名：WebPipe.ai
功能介绍：网页数据抓取 / 结构化输出
所属公司：美萱视界

bash

curl -X POST https://api.webpipe.ai/api/v1/scrape \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $WEBPIPE_API_KEY" \
  -d '{"url":"https://example.com",
       "formats":["markdown","links"]}'

CORE FEATURES

四大接口，覆盖所有场景

Scrape

单页抓取

输入 URL，输出干净的 Markdown、HTML、链接列表、元数据或结构化 JSON。

markdownhtmllinksmetadatajson

Map

链接发现

从 robots.txt、sitemap.xml 及页面内链自动发现所有可达 URL，支持关键词过滤。

sitemaprobots.txt页内链接关键词搜索

Crawl

整站爬取

从起始 URL 递归爬取整个网站，支持深度限制、路径过滤、并发控制。

异步任务深度控制路径过滤去重

Browser

浏览器会话

持久化 Playwright 无头浏览器，支持点击、填表、截图、Cookie 注入。

JS渲染登录抓取点击填表持久会话

OUTPUT FORMATS

输出格式

{ }JSON结构化数据，自定义 Schema 字段提取

M↓Markdown干净的正文，可直接喂给 LLM

🔗Links页面所有超链接列表

iMetadata标题、描述、OG、JSON-LD

</>HTML原始或清洗后的 HTML

QUICK START

三步获取网页数据

注册并获取 API Key

免费注册账号，在控制台一键创建 API Key，30 秒内完成。

传入目标网址

将 API Key 和目标 URL 发送给我们，选择需要的数据格式。

获取结构化数据

立即收到干净的 Markdown、JSON 或链接列表，直接接入业务系统。

一行 API 将任意网页转为结构化数据

免费额度 3,000 pages/月，注册即用，无需任何技术配置。

访问官网 ▶

WebPipe.ai数据管道

Web Data Extraction API