TigerBot
定义
TigerBot指虎博科技研发的多语言、多任务大规模语言模型(LLM)系列,官方定位为可继续训练与二次开发的基座模型,按用途分为base(基座)与chat(对话)两类[1]。该系列早期以BLOOM架构为基础,2023年8月之后转向以Llama-2权重为起点继续预训练,以便在保留原有英文能力的同时补充中文语料与中文词表[1][4]。据其技术报告,模型家族包含7B、13B、70B和180B等不同参数规模的版本,部分模型的权重、代码与数据在公开平台发布,并允许免费商用[2][1]。名称中的“Tiger”与研发方的品牌一致,中文语境中该系列也常被称为虎博大模型。
原理
TigerBot沿用了主流生成式语言模型的自回归结构:给定前文词元序列$t_1,\dots,t_{n}$,模型学习条件概率$P(t_{n+1}\mid t_1,\dots,t_n)$,再按概率逐词元采样出后续文本,因此能够完成续写、问答、翻译和摘要等任务[5]。其训练流程分为两步:先在大量无标注语料上进行预训练,使模型获得语言与知识基础;再以人工或半自动构建的指令数据做监督微调,并用拒绝采样、直接偏好优化等方法对齐人类偏好[1]。
发展历程
2023年6月,TigerBot首次公开亮相,同期开源TigerBot-7B-sft、TigerBot-7B-base和TigerBot-180B-research三个版本的模型,以及100G预训练数据与约100万条指令微调数据;团队表示其中7B模型在公开数据集上的自动评测得分达到同规模OpenAI模型的96%[3][6]。报道同时提到,该模型支持生成、开放问答、编程、绘图、翻译等能力,并以插件方式接入联网检索[3]。
2023年7月至8月,项目连续发布2023.07(V2)与2023.08(V3)版本,7B基座模型在1.5TB数据上完成预训练,13B模型基于Llama-2-13B继续预训练300B词元,并将中文词表扩充至约6万[1]。此后,TigerBot-7B和13B分别在Llama-2对应权重上增量训练,用于补足原模型在中文、代码与推理方面的短板[1]。
2023年9月,70B版本发布并继续开源与免费商用,随后对话模型多次迭代;同月上线函数调用能力,使模型可以调用外部接口后再组织答案[1]。10月,13B与70B的网页和接口支持约16K词元的上下文长度,方法是在推理阶段对旋转位置编码做外推[1]。
2024年3月,对话模型支持的上下文长度提升到100K词元;同年12月,团队发布中文临床术语体系MedCT及配套医疗命名实体识别模型和医疗基础模型[1]。产品层面,2024年6月的升级为搜索增强模式增加了信息来源链接[7]。
应用
TigerBot的用途与通用对话模型相近,可用于文本创作、开放问答、信息抽取、文本摘要、翻译与代码辅助等场景;其对外接口也提供嵌入、摘要、PDF转文本、文生图等工具型能力[8][1]。开源权重与训练代码的公开,使研究者和开发者能够在自有数据上做继续训练或微调;团队亦公布过在单张消费级显卡上用QLoRA微调7B模型的方案[1]。
在产品侧,该模型被用于对话助手、文档增强与搜索增强等形态:搜索与文件增强功能属于典型的检索增强生成思路,即先检索外部资料、再让模型基于检索结果作答[1]。垂直领域方面,团队将模型扩展至医疗场景,发布临床术语体系与医疗信息抽取模型[1]。此外,公开资料显示该模型可在国产硬件平台的推理框架上部署运行[9]。
局限
项目自述的免责声明指出,模型可能生成幻觉内容,即看似合理但实际错误的表述,也可能输出误导性或歧视性内容,因此生成结果需要额外核查[10]。这一风险来自统计式生成机制本身:模型按概率输出词元,并不对所陈述事实作真值判断。
长上下文能力主要依靠推理阶段的外推获得,官方文档说明在总长度不超过2048词元时效果保持不变,更长序列的表现则未必稳定[1]。这与训练阶段实际覆盖的序列长度有限有关,超出范围的输入可能被截断或处理质量下降。
能力评价存在明显分歧。研发方公布的基准测试显示各版本在多项中英文评测中优于同期Llama-2对应模型[1];但第三方学术评测给出更保守的结果,例如中文指令跟随基准中TigerBot-7B-Chat与13B-Chat的得分明显低于头部模型,且在迁移到新任务时性能下降幅度较大[11]。项目仓库中也有使用者反馈180B研究版在数理逻辑与指令遵循上表现有限[12]。同一模型的评测结论会随基准、提示方式与参数量级而不同,宜结合具体任务判断。
参见
参考资料
- TigerBot [引用日期2026-10-29]
- Chen et al., 2023 - Google Patents [引用日期2026-10-29]
- 国产大模型效果达OpenAI同规模模型96%,已开源!CEO上阵写代码 [引用日期2026-10-29]
- diff --git a/README [引用日期2026-10-29]
- TigerBot: An Open Multilingual Multitask LLM [引用日期2026-10-29]
- 效果达OpenAI同规模模型96%,发布即开源!国内团队新发大模型,CEO上阵写代码 [引用日期2026-10-29]
- main [引用日期2026-10-29]
- 虎博大模型TigerBot_70b [引用日期2026-10-29]
- TigerBot在华为云昇腾上实现模型推理,并部署到华为昇腾NPU的详细步骤 [引用日期2026-10-29]
- TigerResearch/TigerBot [引用日期2026-10-29]
- arxiv.org 上的网页 [引用日期2026-10-29]
- github.com 上的网页 [引用日期2026-10-29]