ToolBench
ToolBench是面向大语言模型工具使用（tool learning）能力的大规模评测基准与配套数据集。它由清华大学等机构的研究者随ToolLLM框架提出，从真实API平台收集了16464个RESTful API并自动生成指令与标注解答，被用于衡量模型在单工具、多工具场景下的规划与调用能力，并支撑了ToolLLaMA的训练与ToolEval自动评估方法的提出。
定义
ToolBench是以真实世界编程接口为素材、用于检验大语言模型工具使用能力的数据集与评测基准。它属于ToolLLM框架的组成部分，与该框架的数据构建、模型训练和评估三个环节相互配套。
该基准的核心资产是一批来自RapidAPI Hub的RESTful API，以及围绕这些API生成的自然语言指令和对应的API调用链标注。评测时，模型需要依据给定的API文档，在多轮交互中选择工具、填写参数并组合调用，最终回应用户请求[1]。
原理
ToolBench的构建分三步。第一步是API收集，从RapidAPI Hub采集16464个RESTful API，覆盖49个类别，并同步抓取功能说明、参数要求与调用代码片段等文档信息。第二步是指令生成，由ChatGPT围绕抽样出的API产出多样化的人类指令，既包括只用单个工具的情形，也包括需要多个工具协作的情形[1][2]。
第三步是解答路径标注，即为每条指令找到一条可行的API调用序列。由于复杂指令即使对GPT-4来说通过率也很低，研究团队提出基于深度优先搜索的决策树方法(DFSDT)，让模型能够评估多条推理轨迹并扩展搜索空间，与思维链、ReAct等方法相比提高了标注效率[2]。
评测环节依赖自动评估器ToolEval，它包含两项指标：通过率衡量模型在有限次API调用内完成指令的比例；胜率则把同一指令下的两个解答交给以ChatGPT为评判者的偏好测试，统计被选中的比例。研究团队以人工标注核对，报告其评估器在通过率上与人类的一致性为87.1%，在胜率上为80.3%。
数据按场景分层组织：单工具、类内多工具和集合内多工具分别对应不同的数据组，测试集则在此基础上派生出多个子集，用于区分模型对已见工具与未见工具的适应情况[3][4]。
发展历程
2023年7月31日，ToolLLM论文以预印本形式发布，ToolBench作为其中的数据集首次公开，同时发布的还有自动评估器ToolEval与神经API检索器[1][5]。
同月项目代码仓库完成一次版本更新，8月1日论文正式发布，8月8日基于LLaMA-2微调的ToolLLaMA版本上线，8月30日数据更新至包含超过12万条解答路径标注和完整推理思路[6]。
2023年9月29日，项目发布更稳定的ToolEval版本并补充了GPT-4等模型的评测结果。2024年，ToolLLM论文被ICLR 2024接收为Spotlight论文，ToolBench随之在工具学习研究中被广泛引用[6][7]。
针对原始基准依赖在线API、结果难以复现的问题，研究者于2024年3月提出衍生版本StableToolBench，以虚拟API服务器与稳定评估体系重新组织评测，该工作发表于ACL 2024的Findings论文[8][9]。
应用
ToolBench的首要用途是训练与评测开源模型的工具使用能力。研究团队在它上面微调LLaMA得到ToolLLaMA，并借助神经API检索器为指令推荐合适的工具，使开源模型在工具调用上接近ChatGPT的水平[1]。
在后续研究中，该基准常被用作工具检索与工具选择的测试平台，例如比较不同检索后端在召回率上的差异，或检验小规模模型能否通过强化学习掌握多步工具选择[9][10]。
一些评测工具链将其整理为静态版本，即在给定可用工具与上下文的条件下，对比模型输出的工具调用序列与标准答案，并以Action EM、Plan EM、F1、幻觉率、Rouge-L等指标打分，从而在不实际执行工具的情况下评估函数调用能力[4][11]。
局限
基准依托真实在线API，服务状态直接影响结果。StableToolBench指出，复现ToolBench实验时出现的失败多来自API过期、网络问题或鉴权失败，API可用比例的下降会显著拉低模型得分，同一模型在论文中报告的成绩与被复现的成绩之间也存在差距[8][12]。
评估依赖大模型自动判定，同样带来随机性。原始设计的通过率判定需要判断指令本身是否可解，而在动态环境中这一点难以即时确定，StableToolBench因此改用事先判定任务可解性并以GPT-4作为评判者，提出可解通过率与可解胜率两项指标[13]。
此外，有研究指出ToolBench的API描述聚合较为杂乱，难度分布未经过专门控制，其工具集合规模虽大，却并非为考察检索深度或工具数量对模型表现的影响而设计[14]。数据构造高度依赖ChatGPT自动生成与筛选，其质量与覆盖面也随生成流程的局限而变化。
参见
-
ToolLLM —— 以ToolBench为数据集核心的工具使用框架，涵盖数据构建、训练与评测。
-
ToolEval —— 配套的自动评估器，通过通过率与胜率两项指标衡量工具使用表现。
-
StableToolBench —— 由ToolBench衍生、以虚拟API服务器提升评测稳定性的后续基准。
-
函数调用 —— 大模型依据工具文档生成参数并调用外部接口的能力，是基准主要考察的对象。
-
思维链 —— 引导模型分步推理的提示方法，DFSDT的标注对比对象之一。
参考资料
- arxiv.org 上的网页 [引用日期2026-10-29]
- ToolLLM：让大型语言模型掌握16000多种真实世界API，媲美ChatGPT [引用日期2026-10-29]
- README [引用日期2026-10-29]
- ToolBench-Static | EvalScope - Skip to content [引用日期2026-10-29]
- citations [引用日期2026-10-29]
- ToolBench:基于LLMs的工具使用能力增强项目 [引用日期2026-10-29]
- huggingface.co 上的网页 [引用日期2026-10-29]
- arxiv.org 上的网页 [引用日期2026-10-29]
- aclanthology.org 上的网页 [引用日期2026-10-29]
- retrieval-governed-context-preprint(PDF) [引用日期2026-10-29]
- AGENT评测集 | EvalScope - Skip to content [引用日期2026-10-29]
- + } [引用日期2026-10-29]
- OpenCompass司南 [引用日期2026-10-29]
- arxiv.org 上的网页 [引用日期2026-10-29]