Mathpix

定义

Mathpix 是由 Mathpix 公司推出的一套面向科学、技术、工程与数学（STEM）内容的文字识别工具与接口服务，核心用途是把图片、屏幕截图或扫描件中的数学公式和科技文本转换为可以继续编辑的代码^[1]。识别结果可以输出为 LaTeX、Markdown、MathML、AsciiMath、HTML 等格式，其中 Mathpix Markdown（MMD）是其文档接口的主要输出格式^[5]。除公式之外，该服务还处理表格、代码片段和化学结构式，化学内容以 SMILES 记法输出^[2]。

Mathpix 面向的用户包括学生、教师、研究人员和出版机构，也通过应用程序接口供开发者集成到第三方软件中^[1][6]。在无障碍领域，它常被用于把教材和试题中的数学内容转换为可编辑的真实公式对象，而不是图片^[7]。

原理

通用文字识别把公式当作由奇怪字母组成的单词来处理，而数学记号的语义依赖上下标、分数线、矩阵和定界符的相对位置，按文本行去读会丢失数学含义，因此 Mathpix 的识别模型直接针对数学记号训练，把公式整体理解为公式^[4]。识别过程通常先做版面与区域分析，判断哪些部分属于正文、公式、表格或图形，再分别送入对应的识别模块^[8]。接口会返回逐行和逐词的坐标轮廓以及置信度，便于把识别结果叠加回原图或按可信度筛选^[9]。

同一份识别结果可以序列化为多种记法，例如面向论文与 Overleaf 的 LaTeX、面向 Word 与无障碍工具的 MathML，以及部分编辑器使用的 AsciiMath^[4]。接口还提供数字墨水输入方式，直接接收笔迹的坐标序列而不是成品图片，使应用可以在用户书写过程中就显示识别结果^[4]。对 PDF 的处理是异步的，整份文档先被转换为 Mathpix Markdown，再导出为 DOCX、LaTeX 等格式^[2]。

用 $LaTeX$ 描述上述流程可写作：图片先经版面分析得到区域集合 $R = \{r_1, r_2, \dots, r_n\}$，每个区域 $r_i$ 被分类后送入识别模型，输出记法 $y_i$ 与置信度 $c_i$，最终文档由 $\{(y_i, c_i)\}$ 按阅读顺序拼接而成^[9]。

发展历程

Mathpix 的起点是斯坦福大学数学博士生尼科·希门尼斯（Nico Jimenez）在攻读博士期间开展的项目，他因为觉得在计算机上输入数学公式过于麻烦而寻找替代方式，并与团队成员一起用大量训练数据训练深度学习算法来读取数学内容^[10]。2016 年 5 月，早期版本的 Mathpix 应用公开演示，其功能是用手机摄像头拍摄手写算式并给出解答与图像。有资料记载该公司成立于 2015 年，成立者为 Nicolas Jimenez^[11]，也有资料给出 2016 年或 2017 年的成立时间，此处采用较早且与开发者自述相符的口径^[12]。

此后产品重心从解方程转向公式录入。Snip 提供桌面版与移动版，桌面版覆盖 Mac、Windows 和 Ubuntu，用户通过一个快捷键即可截取屏幕上的公式并得到 LaTeX 代码^[13][3]。2019 年，Snip 推出支持 iOS 与安卓的手机版本，识别结果可以在设备之间同步^[14]。2020 年 2 月，该系列工具加入表格的 LaTeX 转换，可以在云端完成而不需要更新客户端^[15]。

2020 年 6 月，Mathpix OCR 引擎更新，在原有英文之外增加对印地语、韩语、中文（简体与繁体）、越南语、日语、俄语、泰语等语言的识别支持^[16]。此后公司以接口服务为主要业务方向，陆续提供图像、PDF、笔迹和批量处理等接口，并把输出格式扩展到 Mathpix Markdown、DOCX、HTML 等^[2]。2023 年 2 月发布的 iOS 版更新加入了主屏幕小组件，可从手机主屏直接启动拍照或手写识别^[17]。

应用

个人用户最常使用的是桌面端 Snip：在屏幕上框选一段公式后，程序给出 LaTeX 代码，用户可以复制到论文、笔记或支持 LaTeX 的编辑器中^[3]。移动端则通过拍照把手写或印刷体公式转为 LaTeX、MathML、AsciiMath、Markdown 等格式，并可在云端同步自己的文档与笔记^[18]。除公式外，Snip 还能把表格识别为 TSV 以粘贴进电子表格，或输出 HTML 用于网页^[3]。

在开发者一侧，Mathpix 以应用程序接口的形式提供识别能力，第三方软件可以据此在自身界面内完成公式提取。办公套件 ONLYOFFICE 的 Mathpix 插件即为一例，用户在文档编辑器中上传图片即可得到 LaTeX、纯文本、MathML 或 HTML，并直接插入文档^[1]。该插件需要联网，并要求用户自行申请接口凭据^[6]。

在无障碍与教育场景中，Mathpix 被用来把印刷教材、试卷和板书中的数学内容转换为可读、可搜索的文本与公式对象，相关机构在使用指南中强调转换后必须逐条与原文比对^[7]。在数字化工作中，该服务也常与其他工具配合，用于把纸质资料或历史文档中的公式转成 LaTeX 后再人工校对^[19]。

局限

Mathpix 官方说明并不提供准确率保证，也没有内置的校验环节，因此转换结果需要人工复核，尤其在指数、下标、嵌套分数、根号和定界符处容易出现偏差^[7]。印刷体公式的识别通常比手写体可靠，手写内容需要预留更多的校对时间^[7]。图形部分不被转换为文本，接口在检测到图形区域时会返回不支持的错误标识^[8]。

手写数学表达式的识别在真实场景下性能下降明显。有研究在 CROHME 2016 数据集上模拟倾斜、背景纹理、光照不足、局部阴影和墨水颜色等条件，结果显示当背景存在纹理时准确率下降，当书写墨色与背景纹理线颜色接近时，Mathpix 的准确率从 65.33% 降至 40%，倾斜角度超过 15 度后各方法的识别都受到强烈影响^[20]。另有研究指出，其系统不具备用户端的学习功能，识别错误会干扰手写数学的自动评判，需要配合符号校正或人工修正^[21]。

语言覆盖存在边界。手写识别主要支持英语、印地语和拉丁字母语言，印刷体的语种覆盖要宽得多^[9]。在实际使用中，对于西里尔字母等手写文本，输出会把当地字母转写为拉丁字母而使文本难以阅读，部分公式被保存为图片而非 LaTeX 代码^[22]。接口对输入也有体积限制，例如 v3/text 与 v3/latex 的 JSON 请求体上限为 5 MB，通过链接获取的图片上限为 10 MB 且抓取超时为 15 秒，笔迹接口请求体上限为 512 KB^[9]。此外，普通 OCR 与手写识别并不等同，前者分析静态图像形状并作最佳猜测，后者借助笔迹的笔画顺序、方向与速度等信息来提高准确度^[23]。

参见

• 光学字符识别 —— Mathpix 属于面向数学记号的专用光学字符识别技术。

• LaTeX —— Mathpix 最主要的输出格式之一，用于排版数学公式。

• MathML —— 面向网页与无障碍工具的数学标记语言，也是该软件的输出格式之一。

• PDF —— Mathpix 可整份转换的文档格式，先转为 Mathpix Markdown 再导出。

• 化学信息学 —— Mathpix 可识别化学结构式并以 SMILES 记法输出。