虎博TigerBot-13B中文能力超Llama-2 49% 领先国内外主流开源模型

来源:面包芯语时间:2023-08-10 17:27:46


(资料图片仅供参考)

近日,虎博科技发布开源大模型TigerBot-13B,此模型在Llama-2的基础上以虎博积累的技术和数据继续训练,不但保持了Llama-2出色的英文能力,更是在中文能力填补了Llama-2的不足,各项主流中文任务中超过Llama-2 的49%,在开源同类模型中具有竞争力。虎博的理论和实验探索表明,TigerBot的训练方法,计算效率和数据达到世界上SOTA水平,本着open innovation的精神,虎博科技将这些成果分享给大模型社区,继续开源和免费商用TigerBot-13B大模型。

本次发布包括以下三点:

TigerBot-13B-base: 基于Llama-2-13B继续预训练300B tokens,扩充了中文词表到60K vocabulary, 并采用holistic training在预训练中直接使模型具有9成的指令完成能力。在主流英文基准测试中超过Llama-2-13B-base的7%,在中文测试中综合能力超过Llama-2-13B-base的49%,在国内主流开源基座模型中处于领先位置。

TigerBot-13B-chat: 基于TigerBot-13B-base用5M指令数据微调,并采用rejection sampling fine-tune对齐人类需求。在主流英文基准测试中达到Llama-2-13B-chat的 101%,在中文测试中综合能力超过Llama-2-13B-chat的47%,在国内主流开源模型中亦处于领先位置。

TigerBot-API: chat和summarization api 将自动升级到TigerBot-13B-chat,对科研教育用户免费,对商用开发者保持价格不变。

标签:

相关阅读

推荐阅读

虎博TigerBot-13B中文能力超Llama-2 49% 领先国内外主流开源模型

虎博TigerBot-13B中文能力超Llama-2 49% 领先国

近日,虎博科技发布开源大模型TigerBot-13B,此模型在Llama-2的基础上更多

2023-08-10 17:27:46
唐宋八大家指的是谁 唐宋八大家指的是谁有哪些

唐宋八大家指的是谁 唐宋八大家指的是谁有哪些

1、唐宋八大家指是韩愈、柳宗元、王安石、欧阳修、苏洵、苏轼、苏辙、更多

2023-08-10 16:51:30
比亚迪第500万辆新能源车下线:用二十年 做一道证明题

比亚迪第500万辆新能源车下线:用二十年 做一道

比亚迪第500万辆新能源车下线:用二十年做一道证明题更多

2023-08-10 16:32:02
这份防溺水安全知识指南请查收

这份防溺水安全知识指南请查收

暑期是青少年儿童溺水事故的易发期,为最大限度减少溺水事故的发生,增更多

2023-08-10 16:13:02
绍兴市召开房地产工作座谈会,保利、融创、华润、贝壳等企业参加

绍兴市召开房地产工作座谈会,保利、融创、华润、

同时,虞晓芬院长充分肯定了绍兴针对房地产市场所做工作,对近期中央有更多

2023-08-10 15:58:20
越级体验:ULEFONE发布ARMOR X13

越级体验:ULEFONE发布ARMOR X13

Ulefone品牌的ArmorX系列是为年轻用户打造的中端产品系列,价格极具竞更多

2023-08-10 15:17:51
官方通报湘雅三医院科主任被举报

官方通报湘雅三医院科主任被举报

官方通报湘雅三医院科主任被举报更多

2023-08-10 14:42:40
flash特效字(flash特效网)

flash特效字(flash特效网)

来为大家解答以上问题,flash特效字,flash特效网很多人还不知道,现在更多

2023-08-10 14:16:39
+ 点击查看更多精彩

精彩放送

太原12个楼盘发放18张预售证 仅有3个项目为纯新盘
    今年9月,太原市房产管理局给省城12个楼盘正式发放了18张预售证。...
截至9月底 杭州共完成不动产登记988.72万件
    房产证、土地证,两证合一了!2016年6月1日,在市民之家举行的全市...
各地继续密集发布楼市宽松政策 多地支持农民进城购房
    近期以来,各地继续密集发布楼市宽松政策,其中包括长春、遵义多...
宁波:关于“带押过户”新模式的7个典型问题权威解答来了
    日前,宁波市不动产登记中心试点二手房带押过户新模式。新模式下...
多地政府大手笔回购商品房 苏州拟对10个板块回购约1万套新房
    越来越多的地方政府出手回购当地商品房。近日,一份苏州市政府部...
市场降温豪宅不冷 媒体:北上广深掀起“豪宅热”
    尽管整体市场低迷,但豪宅板块比较稳定。争取成交,忙完这一次,...
    最新见闻