大语言模型中的涌现现象是不是伪科学？|天天热资讯
Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
(资料图)
今天晚上，花了一点儿时间看了两篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf标签：
相关阅读
-
06-02
-
06-01
-
06-01
-
06-01
-
06-01
推荐阅读
-
-
大语言模型中的涌现现象是不是伪科学？|天天热资
Datawhale干货作者：平凡@知乎，诺桑比亚大学，在读博士今天晚上，花了一点儿时间看了两篇文章：《Emergent更多
2023-06-02 01:46:36
-
-
共59人！武汉市智能建造领域专家名单（第一批）公
【来源：武汉市城乡建设局】关于公布武汉市智能建造领域专家名单（第一批）的公告各有关单位：为贯彻落实《更多
2023-06-02 01:17:47
-
-
世界热头条丨第六届进博会推介会在英国举行
第六届中国国际进口博览会（进博会）英国推介会25日在伦敦举行，英中贸易协会、汇丰银行等组织和企业与中国更多
2023-06-01 23:39:14
-
-
时讯：千盛集团控股(08475.HK)：罗颂霖辞任独立非
格隆汇6月1日丨千盛集团控股公告，罗颂霖已因工作及业务发展承担提呈辞任独立非执行董事，自2023年6月1日起更多
2023-06-01 23:07:10
-
-
谢菲尔德大学MBA招生简章|当前看点
谢菲尔德大学MBA招生简章的内容包括：谢菲尔德大学MBA课程描述、谢菲尔德大学MBA课程模块、谢菲尔德大学MBA更多
2023-06-01 21:54:09
-
-
金隅天坛整装“蓝时代”施工交付工程师结业仪式在
金隅天坛整装“蓝时代”施工交付工程师结业仪式在京举行2023年06月01日14:35中国网财经更多
2023-06-01 21:40:25
-
-
学而思网校推出博物系列素质教育产品
好未来（NYSE：TAL）旗下学而思网校近日推出素质教育新品——学而思博物系列。“双减”后，该公司确立“三更多
2023-06-01 21:39:31
-
-
纽扣结编法图解_纽扣结最简单的打法 环球简讯
1、首先像这样把绳子挂在右手上，绕在拇指上，手掌绳圈穿过拇指绳圈。2、然后短绳从下面穿过绳圈，被拉紧。更多
2023-06-01 20:02:22
时尚热图
热门标签
精彩放送
-
06-02
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
06-01
-
今日必看
-
-
今年9月，太原市房产管理局给省城12个楼盘正式发放了18张预售证。...
-
-
房产证、土地证，两证合一了!2016年6月1日，在市民之家举行的全市...
-
-
近期以来，各地继续密集发布楼市宽松政策，其中包括长春、遵义多...
-
-
日前，宁波市不动产登记中心试点二手房带押过户新模式。新模式下...
-
-
越来越多的地方政府出手回购当地商品房。近日，一份苏州市政府部...
-
-
尽管整体市场低迷，但豪宅板块比较稳定。争取成交，忙完这一次，...
-
精彩话题
-
最新见闻
- 环球微速讯：东方时尚：徐雄及其一致行动人控股股东东方时尚投资累计质押约1.1亿股
- 热门：90分钟旋转90度 国内首次8桥同步转体施工在重庆顺利进行
- 最新消息：罗博特科：子公司南通罗博与钧达股份控股子公司签署1.05亿元合同
- 当前时讯：第一人称动作生存游戏《Forever Skies》steam抢先体验6月23日开启
- 世界聚焦：百度网盘回应App在苹果应用商店下架：已在紧急沟通中
- 世界看热讯：极星软件更新加入YouTube 并升级了Apple CarPlay
- 天天简讯:1至4月我国服务贸易额同比增长9.1%
- 世界观热点：2022年苹果应用商店创收1.1万亿美元 中国开发者贡献近半
- 科技赋能“晋电外送” 世界今亮点
- 数字乡村聚力帮扶在行动 看化屋村数字化新“黔”景
- 今热点：兰石重装：与东华工程科技股份有限公司签订《战略合作协议》
- 最高保护率达80.68% 艾美疫苗新冠mRNA疫苗产线建设完成
- 理想汽车5月交付28277辆 月销售额首次超100亿元 今日快看
- 安徽阜南全面抢收126万亩小麦 多举施确保颗粒归仓-新动态
- 会通股份：累计回购1074万股 占比约2.34%
- 【世界聚看点】专家：重视儿童心理健康教育，加强心理疾病早期干预
- 存量博弈，围绕热点操作_全球新要闻
- 警方通报“输液被拔针换水桶”：系摆拍，行拘
- 网传辽宁省体育局长宋凯将出任足协一把手 负责足改工作
- 安徽六安：秧苗“坐上电梯” 农机装备“上新”-天天微资讯
- 人民银行：5月对金融机构开展中期借贷便利操作共1250亿元
- 天天简讯:生产假冒品牌面膜，白云区查获一起商标侵权案
- 央行：5月开展中期借贷便利操作共1250亿元 播资讯
- 北京“带押过户”政策配套措施日益完善 已交易房产涉海淀、朝阳等8区_头条
- 天天即时：央行：5月对金融机构开展中期借贷便利操作共1250亿元
- 环球头条：色彩简洁明快，一种朦胧美感的人物油画︱画家威廉·A·施耐德作品
- 高中生为家乡作赋 大学文学院教授猛夸“雏凤清声” 世界速看料
- 进口机动车辆“两证合一”试点在上海海关启动 焦点滚动
- 我国首个海上碳封存示范工程投用 进一步促进海洋油气产业绿色低碳转型-世界热资讯
- 教育部会同相关部门对高考工作全面部署 优化服务 全力保障考试安全
- ST大洲：224厂预计6月份逐步恢复生产
- 世界微动态丨福安药业：子公司收到盐酸美金刚片药品注册证书
- 【全球速看料】北京地区“带押过户”实现常态化
- 铺轨启动！市域铁路机场联络线最新进展来啦
- 当前关注：追逐电动车梦想 沙特主权基金对Lucid再追加投资18亿美元
- 博济医药：公司2023年一季度新增订单1.69亿元，其中中药研发服务订单近6000万
- 环球实时：我国首个海上二氧化碳封存示范工程项目投用
- 全球快资讯：亨通光电：公司在硅光模块和光模块的研发工作均在正常推进 相关人才也有很好储备
- 三分·天下 | C919：什么风浪我没见过！
- 贵州面向海内外推出600个产业招商项目 拟引资规模逾3900亿元
- 改造指南上线 加码老有“乐居”
- 六一消费：高星酒店亲子房预订量同比增长177% 婴童市场商机巨大
- 每日速读!商务部：1-4月我国服务进出口额同比增长9.1%
- 全国碳市场今日收跌1.69% 报57.51元/吨 全球热头条
- 小冰首批网红明星克隆人已提前上线 全球热门
- 当前观点：坐飞机先称体重？新西兰航空真的这么做了！
- 扬杰科技：目前公司全系列产品可运用在物联网、工业互联网、数字智能等领域 暂不涉及传感器 当前头条
- 艾为电子于成都新设微电子科技子公司 环球今热点
- 东莞退休金计算方法是什么？东莞退休工资是多少钱一个月？
- 美国非农数据对黄金的影响有哪些？美国非农数据对金价的影响是什么？
- 如何查询网贷欠款记录？怎样查询一个人的网贷总欠款？
- 余额宝转出需要手续费吗？从余额转到银行卡有手续费吗？
- 余额宝是复利计息吗？余额宝计息是怎么计算的？
- 长江航运迈入“北斗时代”！长江干线北斗卫星地基增强系统正式投运-全球速递
- 华住集团首席执行官金辉：助力贵州打造世界级旅游目的地-世界微速讯
- 怎么查兴业银行信用卡办卡进度？平安信用卡备用金算不算高利息？
- 分期车能抵押贷款吗？分期车能卖吗？
- 影响黄金价格的因素有哪些？美元加息黄金必跌吗？
- 花呗额度突然降低是什么原因？花呗额度降低怎么恢复？
- “植”此青绿 让塞上江南“碳库”日益丰裕
- 世界快看：重庆6月5日将在全市范围内进行防空警报试鸣放
- 花呗晚一天还款有什么影响？花呗还款迟了一天有影响吗？
- 工商银行怎么注销银行卡？工商银行信用卡逾期怎么协商本金？
- 量子科技是什么意思？量子科技概念股票龙头有哪些？
- 香干放冰箱里冷藏可以放久？选购香干时的注意事项介绍
- 焦点热门:中南股份：公司无数据中心业务及合作
- 购买羽绒时的注意事项是什么？鸭绒和鹅绒有什么区别？
- “随申办”黄浦区旗舰店举行线下活动 解锁近期热门服务包 每日速讯
- 躁狂症属于几级精神病？躁狂症的症状表现是什么？
- 红米饭南瓜汤挖野菜也当粮是那首歌的歌词？红米饭南瓜汤挖野菜的完整歌词是什么？
- 市场调整临近尾声 TMT或迎来新买点
- 高温天气催热夏日“清凉经济” “夜经济”消费旺
- 食用海螺有哪些注意事项？海螺不能和什么一起吃？
- 冰糖是用什么东西做的？冰糖适合什么人吃？
- 红烧鱼在冰箱里放了四五天的还能吃吗？吃鱼的注意事项是什么？
- 手上沾上玻璃胶怎么办？玻璃胶粘手上用什么可以去除？
- 夜跑练腹肌效果怎么样？夜跑练腹肌需要多久？
- 动感单车会消耗掉肌肉吗？动感单车长肌肉吗？
- 【新视野】（高质量发展调研行）安徽滁州深耕省际毗邻“试验田” 跑出发展“加速度”
- 多元治理“做加法”：中国宝安再获粤民投增持
- 恒大财富：资金回笼不理想 本月无法兑付每人2000元
- 国家金融监督管理总局核准平安产险、人保财险两项事项
- 博力威：目前大圆柱电芯已量产 预计会最先使用到电摩电池和储能电池
- 我国首艘国产邮轮建造接近尾声 将于6月6日出坞
- 筑底接近尾声，拉升期将至
- 当前看点!天娱数科：公司虚拟数字人在抖音等平台开展直播
- 全球头条：重庆21个区县遭遇暴雨 31条中小河流出现涨水过程
- 全球热消息：青茂口岸启用跨境学童合作快捷查验专道
- 教育部：2023年全国高考报名人数再创历史新高
- 环球今热点：中国星辰 | 护航“神舟”任务 打造天地间“千里眼顺风耳”
- 当前快讯:保利发展：向控股股东转让和乐教育等三家公司股权及债权
- 又一头部企业加入回购阵营 药明康德可斥资不超过二十亿港元购买H股
- 海航大转向：旗下航司均向全服务转型 内部人士透露进展 焦点播报
- 要闻：花千元在演唱会上看柱子？主办方称事先不知情，消保委已介入
- 当前短讯！9月起GRE普通考试时长将缩短（留学服务站）
- 全球新动态：温室气体自愿减排交易备案有望年内重启
- 环球快看点丨西安企业 “金融服务团”来了！
- 专访财信研究院副院长伍超明：需求和信心不足制约经济回暖 加大对民营主体帮扶力度_今日报
- 叶秀新到东华能源烷烃资源综合利用项目调研：统筹谋划 加强服务 全力保障项目投料试产
- 深公司早报｜传音控股股东源科基金拟转让5%股份、涉资约41亿元 北京国管成第一创业证券第一大股东
营业执照公示信息