PicMenu

定义

PicMenu 是一种把餐厅菜单照片转换成逐道菜品配图的软件工具，属于面向餐饮场景的人工智能应用。^[1] 它的处理逻辑是先对上传的菜单图像做文字与条目识别，再以生成式模型为识别出的每道菜产出图片，最终形成一份带图的菜单。^[3]

该工具以开源软件的方式发布，使用者无需付费即可调用，源代码也向公众开放，可自行部署和改动。^[2] 从定位上看，它既服务于希望把纸质菜单数字化的餐厅经营者，也服务于需要看图点餐的顾客。^[4][5]

原理

PicMenu 的识别环节由多个大语言模型分工完成。菜单图像先由 Llama 3.2 Vision 90B 模型读取，提取出菜名、价格、菜品描述等文字信息；随后 Llama 3.1 8B 模型以 JSON 模式把这些信息整理为结构化数据，便于后续程序调用。^[1] 上述模型均通过 Together AI 平台调用，使识别、结构化与生成三步各自使用更适合的模型。^[2]

结构化的菜品信息再交给 Flux Schnell 模型，由它逐道渲染出成品图像；该模型同样运行在 Together AI 之上。^[4] 这属于文生图的技术路径，即由文本描述驱动图像合成，而不是从网络上检索已有照片。^[6]

在工程层面，PicMenu 的前端与接口使用 Next.js 和 TypeScript 搭建，界面组件取自 Shadcn，样式由 Tailwind 处理；上传的图片与生成的图像存放在 AWS S3 对象存储中，运行数据与性能则借助 Plausible 和 Helicone 观察。^[7] 整体数据流可概括为：

flowchart LR

A[上传菜单照片] --> B[Llama 3.2 Vision 90B 提取菜品条目]

B --> C[Llama 3.1 8B 生成 JSON 结构化数据]

C --> D[Flux Schnell 生成菜品图像]

D --> E[输出带图可视化菜单]

发展历程

PicMenu 由开发者 Nutlope 创建，其代码仓库的首个提交出现在 2024 年 11 月 21 日，随后在 11 月 22 日完成若干调整并放出示例图片，成为项目对外可见的版本。^[1] 中文科技媒体在 2024 年 11 月 25 日报道了这款工具，介绍其拍照生成菜品图片的用法。^[7]

项目托管在 GitHub 上，采用 MIT 许可证发布，允许商业使用以及与闭源项目集成。^[2] 此后仓库仍有依赖与配置方面的维护式更新。^[1] 在公开的任务清单中，团队列出的后续方向包括补充食材、来源、热量与口味等菜品信息，改进图像真实度，增加多语言菜单示例，以及引入辣味、素食等标签与筛选功能。^[8]

应用

在餐饮经营场景中，PicMenu 用于把纸质菜单转成带图的数字菜单，可展示在网页或应用里，也可为外卖渠道补充菜品配图。^[4] 由于改用模型生成图像，无需为每道菜单独拍摄照片即可获得视觉呈现。^[3]

在消费端，顾客在餐厅用餐或浏览外卖菜单时，可上传菜单照片查看各道菜的图像，从而辅助点餐决策。^[5] 该工具也被用于跨语言就餐场景，帮助不熟悉当地语言的顾客直观理解菜品内容。^[9]

局限

PicMenu 生成图像耗时较长，单份菜单的处理可能需要约 60 秒，项目方在任务清单中也将其列为需要向用户提示的问题。^[2][1] 当菜单篇幅过大或程序出错时，早期版本的容错处理也不完善，这一点同样被列入待改进事项。^[1]

图像的真实性是另一项短板。生成的菜品图片质量虽高，但与真实菜品的外形仍存在差距，团队计划迭代提示词以提升逼真程度。^[4] 由于图像由模型合成而非实拍，画面并不等同于该餐厅实际出品的菜肴。^[10]

在功能覆盖上，项目发布初期主要面向单一语言的菜单文本，中文菜单尚不在支持范围内，多语言识别与滚动加载等功能当时仍处于开发阶段。^[10] 基于标签的辣味、素食等筛选，以及自动生成食材、热量等附加信息，在任务清单中亦为未完成项。^[8]

参见

• 大语言模型 —— PicMenu 识别菜单文字与生成结构化数据所依赖的模型类型

• Llama —— 其提取与结构化环节采用的模型系列

• 文生图 —— 菜品配图生成所依托的图像合成技术

• 开源软件 —— PicMenu 的发布与许可方式

• 光学字符识别 —— 从图像中读出文字的同类技术路线