Florence-2
定义
Florence-2是一种视觉基础模型(vision foundation model)，由微软Azure AI团队研发，采用基于提示的统一表示来处理多类计算机视觉与视觉语言任务[3]。其标题中的「统一表示」指模型不再为每项任务单独设计网络结构，而是把各类任务都归入同一个序列到序列框架，用同一套参数应对不同需求[1]。
公开的模型分为两档：基础版有2.32亿参数，大版有7.71亿参数；两档都提供在FLD-5B上预训练的版本，以及在下游任务集合上微调过的-ft版本[4]。这两档规模的参数总量远小于同期一些具有数十亿乃至数百亿参数的多模态模型。
原理
Florence-2把每项视觉任务都改写成一个「翻译」问题：输入图像和一段任务提示(prompt)，输出对应的文本结果[3]。提示以特殊标记的形式给出，例如、<DETAILED_CAPTION>、、、<OCR_WITH_REGION>、<REGION_PROPOSAL>、<CAPTION_TO_PHRASE_GROUNDING>等，用户切换标记即可切换任务[4]。
结构上，模型先用视觉编码器DaViT把图像转成视觉标记(token)嵌入，再与文本嵌入拼接，交由基于Transformer的多模态编码器-解码器生成回答。涉及位置的任务在词表中加入特殊的位置标记，把连续坐标离散化为分箱(bin)后的坐标值，从而让坐标也能像文字一样被逐字生成[3]。不同任务对应的输出格式并不相同：检测输出矩形框坐标与标签，OCR带区域输出的是四边形的8个坐标值[5]。
上式表示模型在给定图像 $x$ 与任务提示 $p$ 的条件下，以自回归方式逐词生成输出序列 $y$，全部任务共享一个语言建模目标[3]。
发展历程
2023年11月，微软Azure AI团队发布Florence-2的技术论文与模型细节，论文编号为arXiv:2311.06242，作者包括Xiao Bin、Wu Haiping、Xu Weijian、Dai Xiyang等人[6]。论文提出用多任务学习获取视觉通用表示，并配套构建了FLD-5B数据集[3]。
2024年6月，微软公开Florence-2的模型权重与代码，托管于Hugging Face等平台，以MIT许可证发布，允许商业与非商业使用[2]。同期该论文被CVPR 2024接收为口头报告(orAL)论文[2]。此后社区出现多种衍生用法，例如将Florence-2作为视觉编码器接入其他视觉语言模型，以及为其编写ROS 2封装以便在机器人系统中本地推理[7][8]。
应用
在图像描述类用途中，Florence-2可生成短描述、详细描述与更详细的长描述，用于为图像补充文字说明，例如为影视海报、商品图、地标照片或教学示意图配写说明文字[9]。这类输出可服务于无障碍阅读、电商展示与教育资源标注等场景[9]。
在检测与分割类用途中，模型的开放词表目标检测可找出图中的主要物体并给出矩形框，视觉定位则把一句描述与图中的对应区域关联起来；把检测框输入模型，还能得到框内物体的分割多边形或类别[10]。这些能力常与计算机视觉流水线、标注工具结合使用，例如由Roboflow的工作流模块直接调用Florence-2执行检测、分割与描述任务[10]。
在文档与工业场景中，带区域的OCR只对指定区域做文字识别，可用于从票据、单据等版式中抽取交易信息、账号与日期等字段[9]。基于区域的分割则被用于部件检查、缺陷识别与自动化装配中的定位引导[9]。在机器人方向，由于模型体积较小、可在本地显卡上运行，已有工作把它封装为ROS 2节点，用于提供开放词表检测与场景描述等感知输出[8]。
局限
FLD-5B的标注主要由专门模型自动生成，再经筛选、增强与迭代精炼得到，源模型的偏差和错误会被继承下来，模型在相应维度上难以超过标注来源的水平[9]。分割轮廓以顶点序列的形式输出，形状复杂或物体较多时序列会变长，自回归解码既变慢又容易在后段累积误差[3]。
作为通用模型，Florence-2在单项任务上不一定优于针对该任务专门优化的模型，其价值在于以较小体积同时覆盖多类任务并具备零样本能力。有研究在工业检测数据集上微调基于Florence-2的模型后发现，它在核心检测指标上仍不及传统ResNet类模型，在提示变化较小时表现脆弱，细粒度目标检测会出现退化输出，并且倾向于给出与图像内容关联较弱的固定式回答[11]。模型的输出为文本形式，本身不包含对话式交互设计，也不处理视频时序或三维信息。
参见
参考资料
- venturebeat.com 上的网页 [引用日期2026-10-29]
- 微软Florence-2官宣开源，一统视觉基础模型！华人团队联手打造 [引用日期2026-10-29]
- arxiv.org 上的网页 [引用日期2026-10-29]
- README.md · Aitrepreneur/Florence-2-large at main [引用日期2026-10-29]
- README [引用日期2026-10-29]
- --- [引用日期2026-10-29]
- papernotes.org 上的网页 [引用日期2026-10-29]
- arxiv.org 上的网页 [引用日期2026-10-29]
- Florence-2：Microsoft 的视觉语言模型对比 YOLO [引用日期2026-10-29]
- Florence-2 모델 | Workflows | Roboflow Docs [引用日期2026-10-29]
- thecvf.com 上的网页 [引用日期2026-10-29]