大语言模型中的涌现现象是不是伪科学?|世界观察
Datawhale干货
作者:平凡@知乎,诺桑比亚大学,在读博士
(相关资料图)
今天晚上,花了一点儿时间看了两篇文章:
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior,即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。
我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:
作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。
从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf
2.https://arxiv.org/pdf/2301.05217.pdf
标签:
- 大语言模型中的涌现现象是不是伪科学?|世界观察
- 嫡女傻妃 王爷勾勾缠
- 环球聚焦:判断题及答案100例-判断题及答案
- 广州市中级人民法院对温某以危险方法危害公共安全案一审宣判_全球观热点
- 世界短讯!鲍威尔:太阳经验丰富&很懂裁判尺度 尤其是保罗
- CVPR 2023 | 移动传感器引导的跨时节六自由度视觉定位,准确且高效 世界讯息
- Netflix更便宜的会员资格即将推出由微软提供
- 多家银行下调存款利率 影响几何 全球视讯
- 萨里和拉扎里各被罚款五千欧元-全球今热点
- 财报金选|风向大变!万讯自控业绩遭遇逆转,2022年报业绩增长,一季度却惨遭亏损! 全球播资讯
- 万辰生物:一季度营收同比增553.22%,食用菌业务主要产品售价上升|全球微速讯
- 新疆维吾尔自治区阿克苏市2023-04-19 02:16发布大风红色预警 天天速读
- 图达通上海车展首秀 Innovusion开启激光雷达新“视”界 视点
- 【汉化】终将成为你Q版表情包—仲谷绘制①
- 2023上海车展:极狐考拉首次公众亮相 主打母婴市场
- 3-0!全台进攻不可阻挡,陈梦送杜凯琹5连败,石川佳纯瑟瑟发抖!
- 【新视野】无界基金 限时万元权益,408X上市售价14.57万元起
- 世界快看点丨工信部组织开展2023年度大企业“发榜”中小企业“揭榜”工作
- 环球观察:淄博烧烤有多火?电力数据告诉你
- 顶替酒驾事故骗保怎么处理
- 世界热推荐:2023年“中国航天日”将发布中国首次火星探测成果
- 环球热点!上海发布生物医药产业投资指南,今年瞄准9000亿产业规模
- 环球热头条丨大众将投资10亿欧元在合肥建电动汽车研发及采购中心,目标加快产品上市时间
- 世界热消息:北京一医院发生火情 21人死亡
- 当前关注:水淹车在人保公司买的保险应赔35万 为啥迟迟不到账
- 一季度海南离岛免税购物金额169亿元 同比增长14.6%
- 更亮更远的卤素灯 欧司朗推夜行者2代|时讯
- 大消费热度升温!食品股尤其活跃 修复逻辑持续发酵 这些股获北向重点关注_全球焦点
- 天天新资讯:宋志江
- 摩根大通上调中国2023年GDP增幅预估至6.4%,先前预估为成长6.0%
- 新达通2022年亏损407.33万同比亏损减少 报告期内期间费用减少
- 天天热讯:桂林市秀峰区将举办第十二届“三月三”民族歌圩荟
- 手机总是接收不到信号怎么回事_手机没信号怎么办
- 世界球精选!巨富!王楠佩戴千万帝王翡翠手镯,百亿身家老公带礼物,烟瘾很大
- 国泰送2.7万张免费机票下周一起登记抽奖
- 吃姜不去皮,吃错一生疾?晚上吃姜,会变成“伤身姜”?答案就在这
- 浙江淳安提升治水护水智慧化水平
- 台海危机要再次上演?台湾重要风声传出,赖清德官宣爆炸决定 当前观察
- 动态焦点:男子买到两天后生产的纸巾,当事人:厂家说是印刷错误,我长期用他们的货,其他方面没问题
- 湖北最大金控集团入主 天风证券迎何调整?宏泰集团首度公开发声
- 移远通信(603236)4月18日主力资金净买入138.34万元
- 天天快播:广汽集团总经理冯兴亚:今年车市竞争比想象中激烈,增速比想象中慢
- 电影《灌篮高手》首映 两代配音演员同台_全球速递
- Snapmaker Artisan和J1荣获2023年红点奖和2023年iF设计奖
- 全球讯息:2023上海车展:起亚赛图斯售10.99万起
- 全球动态:“五一”临近,长沙人可去周边哪玩呢?
- 财政部:一季度全国一般公共预算收入增长0.5% 一般公共预算支出增长6.8% 焦点快播
- 每日头条!科技部:2025年底国家超算互联网将形成技术先进、模式创新、服务优质、生态完善的总体布局
- TikTok美国开放卖家自注册,电商业务前路难测 每日头条
- 世界观速讯丨株洲市荷塘区国动办召开2023年人防专业队整组工作会议
- 洞口:“致富茶”铺就乡村振兴路
- 美国俄亥俄州大陪审团拒绝指控枪杀非洲裔男子沃克的涉事警官 天天观点
- 海门市人力资源和社会保障局局长_海门市人力资源和社会保障局
- 【热闻】张国清:坚定不移做强做优做大国有企业 更好发挥国有经济战略支撑作用
- 陕西榆林发布山地苹果区域公用品牌战略_世界速递
- 一位女士因为吃面而崩溃,他们夫妻二人的沟通与对话存在什么问题?
- 2023天津音乐沙龙之蓝色的爱观演指南
- 肉店老板的真实身份,竟然是个“大毒枭”!
- 科技部启动国家超算互联网部署工作
- 每日消息!创造历史!广州南沙队勇夺劳力士中国海帆船赛小组冠军
- 天天快资讯:满洲里口岸进出境中欧班列突破2万列
- 实时焦点:享春日融融_展活力满满
- 百事通!签约总金额超50亿元 中欧班列(成渝)“开进”广交会
- 颜值绝了!小米13 Ultra官图公布|天天视讯
- 天天通讯!韩政府重申!日本福岛核污染水排海须遵循科学
- 机构:新能源行业估值水平处于历史低位 投资时点已经靠近
- 阿曼时间现在几点钟_阿曼时间
- 《火影忍者 终极风暴羁绊》追加新形态鸣人和佐助
- 世界新资讯:宋志平:战略赢是大赢,战略输是大输
- 首破10万亿 中国软件剑指行业话语权
- 铁的密度是多少公斤_铁的密度是多少
- 别克君威GS
- 南京市京剧团联手于魁智工作室,经典剧目来了|热闻
- 贵州茅台:一季度净利润同比增长19%左右 每日信息
- 干锅牛蛙怎么做好吃 干锅牛蛙的烹饪方法
- 官方回应女演员表演杂技高空坠落:演员经抢救无效死亡
- 暖气炉子漏水了有什么修补办法_暖气炉子安装图|全球即时看
- 南县明山头镇:开展“4·15”全民国家安全教育日活动
- 环球快看点丨中国电信发布5G全连接工厂解决方案
- 当前时讯:厚植城市“长红”的文化底蕴
- 山海关在哪里呀_山海关在哪里
- 生态环境部逯元堂:环保产业要加快填补减污降碳协同技术的空白
- 如何使用爱国者自动泳池吸尘器_18岁送什么礼物最有意义|环球简讯
- 世界滚动:皮革衣服如何防止开裂 皮革衣服怎么保养
- 泼水节变味?女生颜值越高被泼越狠 什么情况??
- 开工!虹口这所学校扩建……
- 每日信息:山鼠草多少级可以采集_山鼠草
- 美日韩有意将飞弹防御演习“正规化”,以吓阻朝鲜核威胁
- 天天观焦点:做好农资保供护航粮食安全 全国半数以上省份化肥下摆到位率超95%
- 世界观点:4799元卖不动?RTX 4070上市一天就破发!
- 恒指牛熊街货比(60:40)︱4月15日_环球精选
- 中华汉字的魅力所在_中华汉字的魅力
- 小区物业费包含哪些费用
- 兰州黄河一季度营收同比微增 净利同比减亏 每日热闻
- “不蹲不健身”蹲促进肌肉生长 环球新要闻
- 观看梅赛德斯奔驰AMGOneHypercar处理泥泞道路-环球微资讯
- 美丽海湾、安逸度假、免税购物……行走在海南 处处皆精彩 信息
- 开梁高速明月山隧道右洞贯通,力争年底通车!川渝省际将新增一通道-最资讯
- 北美空头连续两季录得亏损 但做空地区银行成上季最赚钱交易|世界热推荐
- 洛江区调度推进“党建+”邻里中心建设工作
广告
广告
- 如何验证翡翠的真假?只需要简单8步 天天短讯
- DJI RS 3 Mini发布:2千克负载仅795克,支持快速竖拍 天天新消息
- 形容法律威严的句子(精选187句)
- 《宝可梦》满血情况下受到的伤害减半,能带来多少对战机会?
- 世界热推荐:活力中国丨在忙碌的生产线感知中国经济活力
- 全球消息!海南航空回应男子在航班上喊飞机要出事:该名旅客已移交机场公安
- 陆金贷(小额应急)网贷逾期3年多久上征信|全球百事通
- 比亚迪继续减持比亚迪股份,半年已减持超30%
- 胎压监测板块1月9日涨0.91%,通达电气领涨,主力资金净流出2377.78万元_环球快消息
- 世界速看:陆金贷(小额应急)贷款逾期八天延迟还款会影响征信吗
- 記者觀察|封關壬寅末終落幕 港深雙城記開新篇 世界微动态
- 南开区16岁小孩抚养费一般多少钱
- 世界微头条丨十来万的车,我选卡罗拉
- 新华视点|商圈火、景区旺 各地消费市场显活力|聚焦
- 每日热门:光猫和路由器怎么连接 光猫和路由器的正确连接方法
- 蔬菜生吃还是熟吃?你是哪一派?|天天观点
- 天天消息!九典制药(300705.SZ):非洛地平片获批上市
- 热水泡脚脚痒是怎么回事?-环球时快讯
- 面试时,最可怕的就是背调?-世界视点
- 环球短讯![快讯]广联航空:关于特定股东减持数量过半的进展