TigerBot

TigerBot

TigerBot是虎博科技研发并开源的多语言、多任务大语言模型系列,包含通用基座模型与对话模型,参数规模覆盖7B、13B、70B、180B等版本[1][2]。2023年6月公开发布时,团队同步开源了TigerBot-7B与TigerBot-180B的部分模型、训练推理代码以及约100G预训练数据和指令微调数据[3]。后续版本以Llama-2和BLOOM为基础继续预训练,重点补强中文能力,并陆续加入长上下文、检索增强和函数调用等功能[1]。

目录
  1. 定义
  2. 原理
  3. 发展历程
  4. 应用
  5. 局限
  6. 参见

定义

TigerBot指虎博科技研发的多语言、多任务大规模语言模型(LLM)系列,官方定位为可继续训练与二次开发的基座模型,按用途分为base(基座)与chat(对话)两类[1]。该系列早期以BLOOM架构为基础,2023年8月之后转向以Llama-2权重为起点继续预训练,以便在保留原有英文能力的同时补充中文语料与中文词表[1][4]。据其技术报告,模型家族包含7B、13B、70B和180B等不同参数规模的版本,部分模型的权重、代码与数据在公开平台发布,并允许免费商用[2][1]。名称中的“Tiger”与研发方的品牌一致,中文语境中该系列也常被称为虎博大模型。

原理

TigerBot沿用了主流生成式语言模型的自回归结构:给定前文词元序列$t_1,\dots,t_{n}$,模型学习条件概率$P(t_{n+1}\mid t_1,\dots,t_n)$,再按概率逐词元采样出后续文本,因此能够完成续写、问答、翻译和摘要等任务[5]。其训练流程分为两步:先在大量无标注语料上进行预训练,使模型获得语言与知识基础;再以人工或半自动构建的指令数据做监督微调,并用拒绝采样、直接偏好优化等方法对齐人类偏好[1]。

发展历程

2023年6月,TigerBot首次公开亮相,同期开源TigerBot-7B-sft、TigerBot-7B-base和TigerBot-180B-research三个版本的模型,以及100G预训练数据与约100万条指令微调数据;团队表示其中7B模型在公开数据集上的自动评测得分达到同规模OpenAI模型的96%[3][6]。报道同时提到,该模型支持生成、开放问答、编程、绘图、翻译等能力,并以插件方式接入联网检索[3]。

2023年7月至8月,项目连续发布2023.07(V2)与2023.08(V3)版本,7B基座模型在1.5TB数据上完成预训练,13B模型基于Llama-2-13B继续预训练300B词元,并将中文词表扩充至约6万[1]。此后,TigerBot-7B和13B分别在Llama-2对应权重上增量训练,用于补足原模型在中文、代码与推理方面的短板[1]。

2023年9月,70B版本发布并继续开源与免费商用,随后对话模型多次迭代;同月上线函数调用能力,使模型可以调用外部接口后再组织答案[1]。10月,13B与70B的网页和接口支持约16K词元的上下文长度,方法是在推理阶段对旋转位置编码做外推[1]。

2024年3月,对话模型支持的上下文长度提升到100K词元;同年12月,团队发布中文临床术语体系MedCT及配套医疗命名实体识别模型和医疗基础模型[1]。产品层面,2024年6月的升级为搜索增强模式增加了信息来源链接[7]。

应用

TigerBot的用途与通用对话模型相近,可用于文本创作、开放问答、信息抽取、文本摘要、翻译与代码辅助等场景;其对外接口也提供嵌入、摘要、PDF转文本、文生图等工具型能力[8][1]。开源权重与训练代码的公开,使研究者和开发者能够在自有数据上做继续训练或微调;团队亦公布过在单张消费级显卡上用QLoRA微调7B模型的方案[1]。

在产品侧,该模型被用于对话助手、文档增强与搜索增强等形态:搜索与文件增强功能属于典型的检索增强生成思路,即先检索外部资料、再让模型基于检索结果作答[1]。垂直领域方面,团队将模型扩展至医疗场景,发布临床术语体系与医疗信息抽取模型[1]。此外,公开资料显示该模型可在国产硬件平台的推理框架上部署运行[9]。

局限

项目自述的免责声明指出,模型可能生成幻觉内容,即看似合理但实际错误的表述,也可能输出误导性或歧视性内容,因此生成结果需要额外核查[10]。这一风险来自统计式生成机制本身:模型按概率输出词元,并不对所陈述事实作真值判断。

长上下文能力主要依靠推理阶段的外推获得,官方文档说明在总长度不超过2048词元时效果保持不变,更长序列的表现则未必稳定[1]。这与训练阶段实际覆盖的序列长度有限有关,超出范围的输入可能被截断或处理质量下降。

能力评价存在明显分歧。研发方公布的基准测试显示各版本在多项中英文评测中优于同期Llama-2对应模型[1];但第三方学术评测给出更保守的结果,例如中文指令跟随基准中TigerBot-7B-Chat与13B-Chat的得分明显低于头部模型,且在迁移到新任务时性能下降幅度较大[11]。项目仓库中也有使用者反馈180B研究版在数理逻辑与指令遵循上表现有限[12]。同一模型的评测结论会随基准、提示方式与参数量级而不同,宜结合具体任务判断。

参见

  • 大语言模型 —— TigerBot所属的技术类别,指参数规模较大的生成式语言模型

  • Llama-2 —— TigerBot多个版本继续预训练所依托的基础模型

  • BLOOM —— 项目早期版本所依据的模型架构

  • 检索增强生成 —— 与TigerBot搜索增强、文档增强功能相关的技术路线

  • 监督微调 —— TigerBot在预训练之后用于对齐人类指令的训练环节

  • 幻觉(人工智能) —— 项目自述中提到的生成内容可靠性问题

参考资料

  1. TigerBot [引用日期2026-10-29]
  2. Chen et al., 2023 - Google Patents [引用日期2026-10-29]
  3. 国产大模型效果达OpenAI同规模模型96%,已开源!CEO上阵写代码 [引用日期2026-10-29]
  4. diff --git a/README [引用日期2026-10-29]
  5. TigerBot: An Open Multilingual Multitask LLM [引用日期2026-10-29]
  6. 效果达OpenAI同规模模型96%,发布即开源!国内团队新发大模型,CEO上阵写代码 [引用日期2026-10-29]
  7. main [引用日期2026-10-29]
  8. 虎博大模型TigerBot_70b [引用日期2026-10-29]
  9. TigerBot在华为云昇腾上实现模型推理,并部署到华为昇腾NPU的详细步骤 [引用日期2026-10-29]
  10. TigerResearch/TigerBot [引用日期2026-10-29]
  11. arxiv.org 上的网页 [引用日期2026-10-29]
  12. github.com 上的网页 [引用日期2026-10-29]
词条评价
词条统计

浏览次数:0 次

阅读量:0 次 · 阅读完成量:0 次

最近更新:2026-10-28T18:30:49Z

历史版本

本条目引用的词条
BLOOM Llama-2 检索增强生成 大语言模型 监督微调 幻觉(人工智能)