Scrapingdog

定义

Scrapingdog是一种以远程调用方式提供网页数据采集能力的应用程序接口服务。使用者按文档要求向接口地址发送目标网址和身份密钥，接口访问目标站点后返回页面源码或解析后的结构化结果^[1]。其接口集合既包括通用的单页抓取，也包括针对搜索引擎结果页、电商平台、社交媒体与视频平台的定制接口，后一类直接输出JSON字段^[2]。

按资源消耗计量是该服务的计费特征：每次调用扣除一定数量的信用额度，普通轮换代理抓取扣1点，启用JavaScript渲染扣5点，使用高级住宅代理扣10点，二者叠加为25点^[1]。文档给出的免费额度为每月200次请求，超出后由调用方在控制台自行升级^[1]。

原理

通用抓取接口的工作链路可概括为三步：接收任务、在服务端发起真实访问、回传结果。调用方在请求中携带api_key与url两个必需参数，服务端以自身出口地址访问目标页面，把获取到的内容连同响应头与Cookie一并返回^[1]。抓取超时时间固定为60秒，并要求调用方在代码中自行实现重试逻辑^[1]。

请求参数决定了抓取的深度与形态。dynamic参数开启后，服务端用无头浏览器完成页面渲染再输出结果；premium参数改用住宅代理，默认经美国出口访问；wait参数以毫秒为单位指定渲染后的等待时间，取值区间为0至35000；country参数接受国家代码以实现地理位置定向；session_number参数让多次请求复用同一出口地址^[4]。formats参数支持html、links、markdown、summary与images等输出形态，type参数则用于处理图片、PDF与PBF等非网页文件^[4]。

接口的响应状态码具有明确语义：200表示成功返回，202表示任务已入队等待处理，401表示密钥无效或缺失，403表示当前套餐不含该接口，410表示目标地址无内容返回，429表示并发超出套餐上限^[1]。并发连接数按套餐档位限制，是错误码429的主要来源^[1]。

发展历程

该服务以通用抓取接口起步，随后逐步扩充专用接口，形成覆盖搜索、电商、社交与视频平台的接口矩阵。官方文档与软件包说明显示，其Python客户端为75个抓取器各提供一个方法，Node.js客户端的方法数为77个，且均以统一的get调用作为底层封装^[2][5]。

在人工智能应用需求增长后，服务方向向大模型数据供给延伸，推出将网页直接转为Markdown或JSON的输出模式，并增加提示词驱动的抽取参数ai_query与抽取规则ai_extract_rules，使调用方无需自行解析HTML即可获得指定字段^[3][4]。同一时期，官方发布了模型上下文协议服务器，把抓取能力封装为可供外部智能体调用的工具^[6]。

工具链的开放程度同步提高：Python与Node.js两个官方SDK以开放源代码方式发布，前者仅依赖requests库并要求Python 3.8及以上版本，后者基于内置fetch且不引入额外依赖^[2][5]。

应用

搜索引擎结果抓取是最常见的用途之一。其谷歌接口返回自然结果、广告、知识图谱与页面特性，成本约为每次5至10点信用额度；谷歌家族接口还延伸到地图、新闻、趋势、购物、学术、职位、财经、图片与酒店等垂类^[1][7]。

电商领域是其接口数量较多的方向，亚马逊、沃尔玛与易趣均设有搜索、商品、评论与报价等端点，输出商品标题、价格、评分与库存等字段^[8][7]。社交与视频方向则覆盖领英档案、X平台档案与帖子、YouTube的搜索、频道、评论与字幕等数据^[7]。另有专门的爬取接口，可在给定域名下遍历全部页面，以及可解析docx与PDF文件内容的接口^[3]。

面向人工智能工作流，该服务被定位为数据前置环节，用于构建对话助手的实时网页上下文、周期性更新销售线索、将产品文档与常见问题转换为Markdown以维护知识库，以及为深度研究类任务采集素材^[3]。第三方集成方案将其接口封装为模型上下文协议工具，使支持该协议的客户端能够直接调用抓取与搜索能力^[8]。

局限

服务的可靠性受上游超时与配额两项约束。单次请求在60秒后即被终止，文档建议调用方自行加入重试机制；免费与低档套餐的并发连接数分别限制在1与5，超额调用会直接返回429错误^[1][6]。这意味着高频率采集需要按并发档位规划任务队列，而不能依靠单纯增发请求来提速。

结果形态存在取舍：通用抓取接口默认返回的是原始HTML，包含头部与Cookie，解析工作仍由调用方承担，结构化输出只在启用相应参数或改用专用接口时提供^[1]。渲染与住宅代理虽能提升对动态页面和访问限制较严站点的成功率，但信用消耗随之上升，最高档组合为每次25点，抓取规模受成本直接制约^[1]。

站点的持续改版是另一项固有难点。接口按站点结构识别字段，页面布局调整可能导致抽取规则失效，需要维护方跟进更新^[3]。此外，抓取行为本身受目标站点服务条款与相关数据法规约束，服务仅提供技术通道，合规责任由使用者承担，这一点在各类接口文档中均未作替使用者兜底的承诺^[1]。

参见

• 应用程序接口 —— 本词条所述服务以远程接口形式对外提供能力。

• 网络爬虫 —— 网页抓取服务所依托的基础技术。

• 无头浏览器 —— 渲染动态页面时使用的执行环境。

• 代理服务器 —— 服务通过轮换代理与住宅代理隐藏发起方地址。

• 搜索引擎结果页 —— 该服务设有多个专用接口用于提取其内容。

• 模型上下文协议 —— 该服务以此协议将抓取能力开放给外部智能体。