Jina AI Reader

定义

Jina AI Reader 是 Jina AI 提供的一项网址读取服务。用户在目标网址前加上固定前缀，或用程序向该服务发起请求，就能得到该页面的净化文本^[1][5]。它的输出默认采用 Markdown 格式，也可以选择纯文本、HTML、截图或 JSON，正文中通常带有标题、描述和来源网址等元信息^[5][6]。

服务的核心目的是改善大语言模型的输入质量：原始 HTML 夹杂大量标记、脚本与广告，直接送入模型既浪费上下文，也干扰理解，Reader 则把页面压缩成只含主要内容的文本^[7][3]。官方把这项能力定位为面向代理程序和检索增强生成系统的“网页落地”环节^[1]。

原理

早期读取流程分为三步：先用无头浏览器加载页面源代码，再借助 Mozilla 的 Readability 库识别正文，剥离页眉、页脚、导航栏与侧边栏，最后用正则表达式配合 Turndown 库把清理后的 HTML 转成 Markdown^[8][9]。这是一套以启发式规则为主的流水线，遇到结构特殊的页面时可能删错内容或转换不完整^[8]。

为覆盖动态页面，Reader 在无头 Chrome 渲染与轻量抓取两种方式之间自行选择，并允许调用方通过请求头指定等待时机、CSS 选择器、超时时间、区域语言、代理与缓存策略^[1]。读取 PDF 时使用 PDF.js 解析，Word、Excel、PowerPoint 文件先经 LibreOffice 转换，再按 HTML 或 PDF 流程处理^[1]。

后续版本引入了基于语言模型的转换方案。ReaderLM 与 ReaderLM-v2 直接以原始 HTML 为输入生成 Markdown，可绕开正则规则的维护成本，模型还能按给定的 JSON Schema 直接输出结构化字段^[10][11]。在 Reader 的接口中指定相应引擎即可启用这一路径^[12]。

flowchart LR

A[目标网址或文件] --> B{内容类型判断}

B -->|网页| C[无头浏览器渲染]

B -->|PDF 或办公文档| D[PDF.js 或 LibreOffice 解析]

C --> E[正文抽取]

D --> E

E --> F[规则流水线或 ReaderLM 模型转换为 Markdown]

F --> G[返回标题、正文与元信息]

发展历程

2024 年 4 月，Reader 作为 Jina AI 首个软件即服务接口上线，功能是把任意网址转为适配大语言模型的输入^[1]。同月它加入图片处理能力，可为页面内的图片生成描述性替代文本^[4]。

2024 年 5 月，Reader 支持读取任意网址上的 PDF，并推出搜索接口，对查询返回前 5 条结果及其正文^[4][5]。7 月增添了限定站点的站内搜索，10 月引入可递归抓取网站并挑选最相关页面的自适应爬虫^[4]。

2025 年 3 月，服务从基于 Firebase 的架构迁移到容器化部署与托管数据库^[1]。2025 年 12 月，存储层与主服务解耦，PDF 与 Office 文档可直接以文件形式上传转换^[1]。据 Jina AI 披露，Reader 上线后每日处理请求超过 1,000 万次、折合 1,000 亿 token^[3]。

应用

最常见的用途是给检索增强生成和智能体系统提供外部知识。模型的知识存在截止时间，通过 Reader 抓取实时页面可以把最新资料注入提示上下文，减少因信息过期而产生的错误回答^[7]。其搜索接口会先检索再逐条抓取正文，与只返回标题、链接和摘要的常规搜索函数调用不同^[4]。

由于访问方式只是拼接待读取网址，它也常被用于零安装的批量抓取与内容归档，例如把整站页面或 arXiv 论文转成 Markdown 保存^[5][2]。社区还围绕它开发了多种集成，包括面向 模型上下文协议 的服务器与 Python 客户端库，以及第三方平台封装的网页读取接口^[13][6][14]。

结构化抽取是另一类用法。调用方给出 JSON Schema 或自然语言指令，即可从页面中取出价格、标题、日期等字段并直接得到 JSON，省去先转 Markdown 再解析的中间步骤^[2][10]。

局限

Reader 只能处理可公开访问的网址，官方明确说明无法读取登录后的内容，也不能直接处理保存在本地的 HTML 文件^[2]。它同样不主动绕过网站的反爬机制，若目标站点将其识别为机器人并拒绝访问，请求即告失败^[2]。

输出质量受页面结构与抽取方式影响。规则流水线曾出现误删正文或转换失真的情况，基于模型的路径也仍在部分场景表现不足，官方评测显示其在产品落地页与政府公文等类型上尚有改进空间，而规则方案在人工评测中仍被列为转换效果最好的选项^[8][12]。

结果缓存也会带来时效问题：同一网址在短时间内重复请求会返回缓存内容，对时间敏感的抓取需要显式关闭缓存^[2]。此外，未携带密钥的匿名调用受到速率限制，搜索接口则必须使用密钥才能调用^[2][6]。

参见

• Jina AI —— 开发并运营 Jina AI Reader 的公司。

• ReaderLM-v2 —— 专为 HTML 转 Markdown 与 JSON 设计的小型语言模型，集成于该工具。

• 检索增强生成 —— 以外部文档补充模型上下文的技术框架，是该工具的主要应用场景。

• 模型上下文协议 —— 智能体调用外部工具的接口规范，社区为其编写了对接 Reader 的服务器。

• Markdown —— 该工具默认采用的输出文本格式。