(资料图)
AI 创业公司 MosaicML 近日发布了其 70 亿参数模型 MPT-7B-8K,据悉,该模型一次可以处理 8000 字文本,相当擅长处理长文重点摘要和问答,还能在 MosaicML 平台上根据特定任务,进一步微调相关配置。
据悉,系列模型采用了 150 万个 Token,并以 256 块 H100 GPU 花 3 天完成模型训练而成。MosaicML 本次发布了 3 个版本模型,包括 MPT-7B-8k、MPT-7B-8k-Instruct 和 MPT-7B-8k-Chat。
其中,第一个版本 MPT-7B-8k、是以 Transformer 解码器为基础,并以 FlashAttention 和 FasterTransformer 机制来加速训练与推论,能一次处理 8000 字文本,MosaicML 公司表示,该模型开源、允许商用。
第二个版本 MPT-7B-8k-Instruct 是以第一个版本 MPT-7B-8k 微调而成,MosaicML 公司表示,MPT-7B-8k-Instruct 模型可处理长篇指令,特别注重于生成“摘要和问答”,该模型一样开源且可商用。
第三个版本 MPT-7B-8k-Chat 则是机器人对话式的 AI 模型,MosaicML 公司宣称,该模型额外多用了 15 亿个聊天数据 Token,在第一版模型 MPT-7B-8k 之上继续训练而成,该模型开源,但不允许商用。
据此前报道,MosaicML 公司也推出了一款号称训练成本仅为竞品零头的 MPT-30B 开源模型,该公司日前已将所有开源模型发布于 Huggingface 平台,感兴趣的小伙伴们可以前往进行相关了解,还可以在本地硬件上使用自己的数据,在下载后,对模型进行各种微调。
标签:
- AI公司MosaicML推出70亿参数模型MPT-7B-8,号称“一次处理 8000 字长文本、可商用”
- 消保委最新宠物食品抽检报告,疯狂小狗、麦富迪、高爷家等国产品牌均在列
- 创意与艺术的完美结合 SACA莎卡轻奢定制设计风格
- 国家宝藏金银纪念币今日发行,每一枚都是工艺传奇
- 郑州医生曾斌隆鼻 剔除中间商
- 夏日焕新家,在法恩莎臻享全卫空间定制礼
- 首部数字化转型地方性法规无锡施行!蓝凌OA赋能锡企管理升级
- 暗“肠”玄机?张玉安藏的肠,可有学问!
- Origimel优赋调制乳粉,以成人“专业营养”赛道精准布局高端市场
- ARROW箭牌×广州建博会 | 以卫浴空间为媒,构建智能与人文的“伴生关系”
- 爱国高僧圆瑛大师:利国护民,饶益有情
- 爆火出圈 ! 柏菲伦展馆成广州建博会打卡圣地
- 中国银行与青海省人民政府签署战略合作协议
- 金鹰基金陷发行困局,倪超拟管产品左手延募右手上新,宣传存误导之嫌
- 中方代表呼吁尽快公布“北溪”爆炸事件调查结果
- 全志科技:7月11日融资买入4533.98万元,融资融券余额8.06亿元
- 鲜百合的最佳食用方法 鲜百合的功效与作用
- 陆良:甜脆玉米甜进群众心里
- 有一种叫云南的生活|开屏带“爱菌人”探访野生菌市场→
- 购买货币基金能跑赢通涨吗 买货币基金会亏损吗
- 全省首个县级直播电商行业工会联合会成立
- 基金分批卖出的技巧有哪些 最全攻略如下
- 以学促改 云南省综合交通发展中心着力解决群众急难愁盼问题
- 康桥悦生活联合中商奥特莱斯新成立服务公司 分别持股51%、49%
- 这支女劳模工匠服务队心系山区发展
- 什么时候打新股容易中签 打新股要注意什么
- 基金会亏完本金吗 买基金需要关注什么信息
- 基金分红净值会变化吗 基金分红的常见问题
- 中微半导体诉讼美国泛林公司非法获取商业机密获胜
- 牛肉罐头炖柿子的做法?
- 逛千年古城 看社火表演,台生为宁夏隆德红崖老巷子点赞
- 手机没电也能支付!数字人民币SIM卡硬钱包怎么开通?
- 日本调查称90%中小学生在人员密集场所仍在戴口罩,理由有这些
- “房奴”压力山大 英国抵押贷款利率升至15年来最高
- 基金申购费率是什么 申购费怎么算
- 原高管停职、突击换帅,我爱我家杭州公司为何突发人事动荡?
- 放量是什么意思 股票在低放量位和高放量位有什么区别
- 新西兰联储如期暂停加息
- 基金转换钱怎么变少了 原因有这几点
- 三祥新材:公司纳米氧化锆设计产能2000吨
- 山水家园 甜蜜屏边|国家应急广播:空中最强音 入耳又入心
- 招联金融怎么协商延期还款 方法如下
- “大小非农”趋势分化 美联储7月议息还需考虑哪些因素?
- 招联金融还不上会有什么后果 看这里就清楚了
- 三角轮胎:7月11日融资买入2466.8万元,融资融券余额1.57亿元
- 入伏首日记者探访扬州老街巷 老街坊有“凉”策!
- 冠农股份上半年净利润预增68%-83% 8月迎来新榨季
- 海口队包揽学青会冲浪比赛男女长板冠军
- 泰祥股份7月12日快速回调
- 怎么查自己的保险项目 有这几种方法
- 基金涨停是几个点的收益 基金涨跌幅限制如下
- 征信大数据查询是什么 和传统征信有什么区别
- 日本福岛渔业团体重申反对核污染水排海
- 新华视点|虫草山的守护者
- 海南:逐浪天涯
- 坐飞机突遇晴空颠簸该怎么办?专家给出答案
- 顽皮狗联合总裁年底退休:尼尔将全权掌控工作室
- 新西兰联储如期暂停加息
- 基金涨停是什么意思 通俗解释如下
- 拓维信息7月12日快速回调
- 学平险医院门诊CT费用报销吗 学平险保单丢失了怎么办
- 晶硅光伏组件回收利用技术研究项目通过验收
- 雨继续下!目前,鄂尔多斯这里雨量最大
- 光伏每日报,众览光伏天下事!
- 温州湾新区入选全省改革试点 探索政务服务增值化
- 海南:校外培训机构不得以“一对一”等名义开展学科类培训
- AI颠覆蛋白设计 开发药物的新时代或至
- 驻欧盟使团发言人就北约峰会涉华内容答记者问
- 华泰证券:美国通胀或将超预期下行
- 北约峰会未向乌克兰发出入约邀请
- 中州航空主基地搬迁项目开工 加快打造海南首家全货运主基地航空公司
- 海南部署开展为期100天的疏散通道专项综合治理
- 俄央行拟于8月对数字卢布进行真实交易测试
- 美联储还要继续加息?
- 棉花单产恐缩减 查库又起波澜
- 8月25日前——海南拟全面上线旅游消费投诉先行赔付
- 有人攀栏欲跳桥 好人“飞”来抱住腰
- 罚款十万元!丽江通报关于“女子跟团旅游车上睡觉被叫停”的调查处理情况
- 生态状况总体优良 海南首份河流“体检报告”出炉
- 山东青海携手点亮高原文旅经济
- 【环球财经】乐观预期推动 国际油价11日显著上涨
- 冯飞刘小明调研海南自由贸易港加工增值超过30%(含)货物进入内地免征进口关税政策落地工作时指出 充分释放政策红利 夯实实体经济根基
- 洱海生态持续改善
- 韩国6月新增就业人口33.3万人 失业率2.7%
- 【中国梦·劳动美】全国五一劳动奖章获得者段治尚:以工匠精神助力腾药腾飞
- 海南屯昌举办水稻种植机械化插秧推广演示会
- 山子股份07月11日获深股通增持242.88万股
- 高盛将12月美国核心PCE预期下调至3.5%
- 驻欧盟使团发言人就北约峰会涉华内容答记者问
- 蒙自:鹰嘴桃抢“鲜”上市出口外销
- 【乡村客货邮融合发展典型经验】昌宁完善县乡村三级物流体系 畅通农村物流“最后一公里”
- 【新时代 新征程 新伟业】戈壁滩上“永不撤退”的金牌队伍
- 怒江:开展认购活动打造生猪品牌
- 美联储贴现率会议纪要:4个地区联储上月支持上调贴现率25个基点
- 截至今年5月末 海南普惠小微贷款增速连续5年超20%
- 这些老建筑改后美爆了
- 苏格兰公开赛本周开启 捷尼赛思强手助力高尔夫发展
- 【环球财经】伦敦股市11日上涨 地产股领涨
- 陕西:高质量推进人口发展和妇幼健康工作
- “融媒有技”优秀案例库上线