[科技知识] 人的大脑会不会出现“过拟合”病?

天天财汇购物网址万年历小说 | 三峰软件小游戏视频

TxT小说阅读器
↓小说语音阅读,小说下载↓

一键清除系统垃圾
↓轻轻一点,清除系统垃圾↓

图片批量下载器
↓批量下载图片,美女图库↓

图片自动播放器
↓图片自动播放,产品展示↓

首页淘股吧股票涨跌实时统计涨停板选股股票入门股票书籍股票问答分时图选股跌停板选股 K线图选股成交量选股 [平安银行]

股市论谈均线选股趋势线选股筹码理论波浪理论缠论 MACD指标 KDJ指标 BOLL指标 RSI指标炒股基础知识炒股故事

商业财经科技知识汽车百科工程技术自然科学家居生活设计艺术财经视频游戏--

天天财汇 -> 科技知识 -> 人的大脑会不会出现“过拟合”病? -> 正文阅读

[科技知识]人的大脑会不会出现“过拟合”病?

[收藏本文] 【下载本文】

如果有，它的症状会是什么样的

学而不思则欠拟合，思而不学则过拟合。

当然会，高考复习就是一个例子：
你就是模型，不同人的模型架构不同，有的人模型简单可能就是一个多层感知机，有的人模型复杂，可能又残差又双流网络还多任务模型
损失函数就是你和理想高考成绩的差距
训练集是你从高一到高三的所有课后题、复习题、自己买的卷子和题目
验证集是各种月考、期中考、期末考和自检
测试集只有一个，就是高考
欠拟合就是一个人根本没什么复习，天天玩，它当然考不出好成绩。当然参数初始化就是接近最优解的天才除外
过拟合就很普遍了：
各种所谓的高考秒杀大招各种考前猜题，死磕难题怪题的解忽视课后试题，开局就刷五三，刷完一本又一本，只做最难的题
这种就是过拟合到了一些偏题难题中，而没有发现测试集高考本质是要你发现这些题背后的普遍规律
然而悲剧的是，直到大学才发现这一点，机器允许多次调参做tuning，人生却不可以

会
我现在惊奇的发现我陷入了一个局部最优解了
除了常去的食堂的几个窗口, 完全不想去尝试其他伙食.
平时出行的路也总是那么几条
评论区提示这个不能算过拟合，仔细想想，确实
那改一下：
我在学校食堂吃惯了，于是以为全天下食堂是最好吃的。
于是过年回家，还是想去吃食堂，忽略了叫外卖。评价标准从好吃的饭变成了是否是食堂的饭

如果你考试之前，刷了十遍真题，每个字都背下来了，考试却考不出好成绩，这是过拟合（训练样本太少，只盲目刷真题去了）
如果你考试之前，刷了几十套模拟题，但是每题都不会总结，刷完就刷完了，还是考不好，这是欠拟合（训练样本过多导致的）
如果考试之前一个月抱佛脚，最后没考好，也是欠拟合（训练时间不够）

总分130分（100+30）
看看你能得多少
一、基础题（每题2分，总计40分）

二、中档题（每题2.5分，总计20分）

三、高档题（每题8分，总计24分）

四、压轴题（16分）

五、附加题（30分）

上面有回答认为“偏见（bias）”就是这里提到的“过拟合，我觉得有失偏颇。首先，从机器学习的角度来看，当你的训练出现过拟合的时候，往往出现的现象是低“bias”而高“variance”的现象，欠拟合时出现的才是高"bias”现象。事实上呢，也是如此，比如说刻板印象、二极管思维等等本来就是一个人的思维能力（也就是网络模型）复杂度不够，无法拟合出复杂的思维结构出来，从而产生的思维模式，只能叫做“欠拟合”。
具体什么可以叫做“过拟合”呢？举个最简单的例子，小学的时候我们要参加口算比赛，老师给每个小朋友发了一张有50道口算题的试卷，告诉我们最后比赛的时候也是做这50道题。一开始在做题的时候大家都通过口算的方式得到答案，但是后来大家发现直接背诵答案更快，于是大家都不看题目，直接按顺序记忆每一道题目的答案，顺着默写下来，最后可以默写地非常快。但是最后比赛的时候，确实如老师所说，是那50道题，但是顺序被打乱了，之前按照顺序背诵答案的同学就傻眼了。这就是典型的“过拟合”现象。
所以说，如果要谈论人脑的过拟合，那一定是因为信息的复杂度比不过人思维的复杂度而造成的现象。现实生活中出现的像年纪越大就变得更加固执、守旧就在某种程度上可以解释为这里的过拟合现象。因为随着人的年纪越来越大、每天接受的信息越来越单调、贫瘠，在这样的数据集上就很有可能产生过拟合的结果。
但是上面提到的固执、守旧还有另外一种从强化学习的角度进行解释的方法，叫做“exploration-exploitation trade-off"。什么意思呢，简单来说就是一个智能体在训练刚刚开始时，信息量不够，就需要更多地去收集新的信息，所以会更加愿意去探索；而再已经收集很多信息之后，探索会变成一项风险较大而收益不一定高的事情，从而不太愿意去进行探索，变得更加因循守旧。而越是这样因循守旧，收集到的信息也会更加贫瘠单调，从而形成更严重的“过拟合”。
在现在深度学习的范式中，大家逐渐发现，为了解决过拟合，似乎不需要使用很多复杂的正则、采用early-stop这样的技巧，只要能够收集到更多高质量的信息进行训练，过拟合问题基本上都可以被解决。现在的各种大模型的崛起某种程度上也是因为这个原因。所以“过拟合”问题实际上就成为了一个“信息茧房”问题：只要能够让自己处在一个信息开放的场所，“过拟合”自然就会逐渐消失。

太正常了。
大脑的第一任务是保命，所以人类大脑经常出现过拟合。
举几个简单的例子，比如视觉。
人类有把两个黑点点脑补成一个生物脸部的能力，这是人在生存中进化出来的能力。

著名的火星脸

你的大脑会自动把所有看起来像面部的要素都处理成一张脸，也就是“空想性视错”。之所以会这样，是因为人类在进化中得到了快速识别其他动物的能力，而这个能力关系到你是否能第一时间发现身边危险。
而在现代，这个能力多少就有些麻烦，容易让人脑补过度，但你的大脑是完全停不下来的。
还有一个是关于热量的。
很多人都会因为肥胖而烦恼，而减肥有多难相信很多知乎er都是领教过的。
减肥为何如此之难？这是因为囤积卡路里在大脑的决策优先级里是极高的。
你节食是吧？我给你消耗肌肉。
你戒碳水是吧？老子直接给你进入节能模式。
在大脑的运行逻辑里，减肥等于自杀，他也是纳了闷了为什么这具身体非要不停滴尝试自杀。
所以健身里有一个东西叫做“欺骗餐”，如果你长时间碳水摄入不足，那么大脑会下令进入节能模式。所以想减肥，那么过一阵就要用高碳水饮食冲一下。
人类早就普遍进入了热量过剩时代，但大脑仍然处于严重过拟合的状态，宁可不要肌肉也要保脂肪，对于消耗脂肪的态度堪比葛朗台。

这个问题还蛮有意思的。一个叫E Hoel的在Cell press上有篇神经科学上的论文, 提出大脑在思考问题的过程中其实普遍存在过拟合问题。这个paper提出一种假设，我觉得听上去还蛮有趣的，就是做梦其实是大脑为了防止过拟合而产生的一种假象数据集。这个做法其实跟训练神经网络时候的自生成一些数据的方法类似。
这个paper具体是说当我们睡觉做梦的时候，其实是因为大脑面临了过拟合问题，就像电脑程序学习时会出现的问题一样。计算机在学习数据时可能过于专注于某些细节，结果在新数据上表现不好一样。我们的大脑也可能在日常生活中对某些事物过于专注，导致在处理新的情况时不够灵活。
所以，做梦就像是大脑的一种修复机制。它让大脑每晚都经历一些不同寻常的、奇幻的情境，就像电脑程序学习时会引入一些新的、随机的数据一样。这样一来，大脑就能够更好地适应各种各样的情况，提高我们的认知能力和处理各种任务的表现。这样说起来，做梦的原因可能是为了保护我们的大脑不要变得太死板，帮助我们更好地适应不同的情况，就像电脑程序需要多样化的数据来更好地工作一样。
读到这里你肯定就要问了，科学研究怎么能说啥就是啥，实验呢？证据呢？其实这也是一种很常见的论文（灌水）方式，就是提出前瞻性的假设，然后配一些蛛丝马迹的痕迹供以后的人去深挖。不过不可否认，这篇的话我觉得是有点赶热点的嫌疑。但是不管咋样，我们可以看看他罗列的证据到底是个啥：
任务重复训练触发梦境:其他研究表明，通过在某项任务上进行反复过度训练，可以触发包含与现实事件部分相似性的梦境。这包括反复玩类似“俄罗斯方块”的游戏或滑雪模拟器的情况，这些都导致了梦境涉及到学习的任务，尽管不是具体的记忆重播。hmmmm 这个确实，是一个如果这个假设是真的会导致的一个现象。但很难讲....也可能是量变到质变的演练(replay), 但是这种演练如果你说是为了防止overfitting好像也可以。
任务依赖性的睡眠对学习的影响: 有证据表明，对于成年人，感知任务从睡眠中的学习提高不大，而认知任务却在学习中表现出显著的增益。这个可能是的，难的任务学不出来更容易overfitting？
梦境与创造力的关联: 长期以来，梦境与创造力之间存在关联。研究发现，睡眠如何改善抽象和推理任务的能力，与梦境与创造力的关联相吻合。这也太....但是确实有那么些逻辑。
梦境对学习的影响: 在纹理辨别任务上的过度训练会导致性能下降，而睡眠特别是超过时间的流逝，会挽救这种性能。这与关于在任务性能上达到平台的报告以及睡眠后性能提高的观察相吻合。这个是大家都认可的结果，就是睡觉可以巩固学习成果。但是这个得把做梦这个变量加进去，不能光睡觉。
然后作者也提出了一些可以做的实验在未来来佐证这个想法：
其中这两个我觉得比较有趣，1是可以研究纯粹的记忆和泛化之间的差异，以及睡眠剥夺对它们的影响。根据这个的观点，记忆不应受到睡眠剥夺的影响，而泛化应该受到更大的影响。因此，可以使用小鼠等动物模型，研究类似于上下文恐惧泛化的现象，同时考虑睡眠剥夺或可能的梦境剥夺条件。
2是搞一下梦境替代物，这些替代物具有梦境的属性，可以人工生成。这些梦境替代物可以通过虚拟现实（VR）或视频等方式提供，以延迟睡眠剥夺的认知缺陷。可以通过行为测试和REM反弹的神经生理水平来检查这些替代物的影响。hmmmm 这个搞成了感觉还蛮厉害，提告智商神器
总之，我个人是非常站人脑就是比较特殊高级的神经网络这个世界观。我认为两者的本质有很多相似之处。所以以后的神经科学既可以从还原论对角度去正向研究也可以这样反推，因为对于训练神经网络我们有了越来越多的经验。
然后这篇文章本身的话，这样看下来槽点还蛮多. 做梦本身就是神经科学里面一个常年比较不太被人看的起的小方向，看来也不是没有道理。
欢迎大家一起讨论或者吐槽～

感觉这个语言模型确实有点过拟合

当然，最简单的一个例子，就是偏见
偏见就是一种过拟合，用一个bias替代了复杂的非线性判断
在生活中非常常见，例如xxx都爱偷井盖，黑人全有艾滋病，这都是过拟合的表现
但也不能说偏见没有价值，偏见的意义就在于高效，可以快速的做决策和筛选
人类决策都是有消耗的，复杂的理解和调研，都是需要消耗很多心智的
偏见虽然不准但消耗很低，可以快速应用，很多时候可以帮人避免不少坑

刚看到一个

如果你看着插排上的孔像人脸，那恭喜你，你已经过拟合了

且不说“会不会”，实际上认的大脑每时每刻都处在某种“过拟合”之中，包括但不限于：
Recency Effect/Primacy Effects 近因效应和首因效应
近因效应[1]简单说就是对近期发生的事情的信息记忆的更清楚，对基于近期体验/经验做的总结更相信且更倾向于使用最近的体验/经验总结经验和规律[2].
首因效应[3]简单说就是对初次的经历非常记忆更深刻，并在总结经验和规律时对初次的经验加权更多.

近因效应主要由人的记忆加工机制影响[4]，我们的长期记忆的形成需要较长的时候，在形成之后才能更好的转换成高度浓缩的规律和经验，对于近期发生的事情，则更少转换成长期记忆，需要调用更多的认知资源进行加工，从而在使用过去的体验/经验进行规律总结时候不自觉地对近期事件/体验进行了加权。近因效应意味着我们对近期信息进行了过拟合。
首因效应主要受到记忆加工中的新奇感(Novelty)加权的影响[5][6]. 也就是说，越具有新奇感的体验，记忆机制会优先加工并且优先recall和深化。在这里，Novelty可以意味着好的体验，也可以意味着坏的体验，比如“一朝被蛇咬，十年怕井绳”，便是负面体验首因效应引发的认知过拟合。
风俗习惯/文化
风俗习惯和文化意味着一定的事件模式在一定的环境是是主流的，日常的。生活在这样的环境中的人，在认知和记忆中会拥有大量的符合风俗习惯和当地文化的数据/体验，对于不符合风俗习惯/文化的信息和经验匮乏。
这种体验/数据和认知上的加权和降权让我们在总结规律/经验和认知加工时候过拟合符合风俗习惯和文化的数据和信息。不仅如此，不符合风俗习惯和文化的信息，因为经验的缺少，还会在认知上引发不安感，对相应的信息进一步降权，并进行负面的认知打标[7].
风俗习惯/文化导致的认知过拟合，甚至是认知扭曲是潜移默化的，处于其中的人难以感知的。不符合的信息会被潜意识地进行负面加工，甚至被认为是“大逆不道”[8].
在越保守封闭的社会中，风俗习惯/文化导致的认知过拟合自然是越严重的，这也导致该社会的发展趋势/走向被锁死，对外部世界越仇视，除非出现破坏性变革。
参考^Baddeley, A. D., & Hitch, G. (1993). The recency effect: Implicit learning with explicit retrieval?. Memory & Cognition, 21, 146-155.^Greene, R. L. (1986). Sources of recency effects in free recall. Psychological Bulletin, 99(2), 221.^Anderson, N. H. (1965). Primacy effects in personality impression formation using a generalized order effect paradigm. Journal of personality and social psychology, 2(1), 1.^Capitani, E., Della Sala, S., Logie, R. H., & Spinnler, H. (1992). Recency, primacy, and memory: Reappraising and standardising the serial position curve. Cortex, 28(3), 315-342.^Fernández, G., & Morris, R. G. (2018). Memory, novelty and prior knowledge. Trends in Neurosciences, 41(10), 654-659.^Kafkas, A., & Montaldi, D. (2018). How do memory systems detect and respond to novelty?. Neuroscience letters, 680, 60-68.^Wierzbicka, A. (1992). Semantics, culture, and cognition: Universal human concepts in culture-specific configurations. Oxford University Press, USA.^DiMaggio, P. (1997). Culture and cognition. Annual review of sociology, 23(1), 263-287.

咳，光说有用吗？截自2020年底和朋友聊天

不是会不会的问题，是人脑都很难避免过拟合。
简单一点理解，欠拟合导向偏见，过拟合导向傲慢。
当然，过拟合相对更难发现一些。因为相对欠拟合的轻视，过拟合是用功过度，学到了太多数据，而不能泛化到其他同类领域生效。
欠拟合，往往会调用群体智慧。比较容易呆在看山是山的浅层阶段。群体智慧可以解决很多问题，但是遇到未见的问题，版本跟不上，会抓瞎。
具有好奇心的人，不满足于群体智慧的答案会持续学习，往往会进入下一个阶段。
深入学习之后，往往会过拟合。
过拟合，往往会因为过度深入领域，无法回归正常视角看问题，而进入看山不是山的阶段。
这个阶段对人是深渊。因为一个人发现并修复群体的问题容易；但是一个人想要发现并修复自己的问题，无比困难。
能主动修复欠拟合与过拟合问题的人，最终看到事物真实规律，能完全准确拟合事物发展曲线，达到看山还是山的阶段。
但是，达到这个开悟阶段的人寥寥无几。
大多数知识分子，因为出不了过拟合的深渊，只擅长把知识用成暴力。
——
过拟合最大的问题，手上拿着一把自制的非标准锤子，看什么都是自己锤子的钉子。
尤其常见学心理领域的半吊子，这是危害最大的类型。不是强说是，因为自己大脑里拟合的规律是这样的，必须让对方服从自己对对方的审判——这个人自卑，那个人抑郁，那那个人不被人喜欢——什么，你说自己被人喜欢？不对不对，你再想想，是不是你误解了其他人对你的意思，你是不是把讨厌你的人忘了，或者根本不知道？

当然会了，随便找个高中，那里的人脑就经常表现出过拟合，欠拟合，拟合的情况。
有人死记硬背钻牛角尖，模拟考门门满分，大考换了新题型就不会了，这就是过拟合。
同理，学习不努力，课后题都不会做的，就是欠拟合。
还有一部分学霸，该努力就努力，该玩就玩，他们的脑子举一反三，融汇贯通，模拟考拿90%的分数，大考也能拿90%的分数，这就是完美拟合。

我看有人说“容易把非人脸物件当作人脸也属于一种过拟合”，想了想，翻到了这张图。