| |
|
|
| 首页 淘股吧 股票涨跌实时统计 涨停板选股 股票入门 股票书籍 股票问答 分时图选股 跌停板选股 K线图选股 成交量选股 [平安银行] |
| 股市论谈 均线选股 趋势线选股 筹码理论 波浪理论 缠论 MACD指标 KDJ指标 BOLL指标 RSI指标 炒股基础知识 炒股故事 |
| 商业财经 科技知识 汽车百科 工程技术 自然科学 家居生活 设计艺术 财经视频 游戏-- |
| 天天财汇 -> 科技知识 -> 如何评价openai离职员工Karpathy离职做课，为什么他的真东西课程还没有李一舟的学员多？ -> 正文阅读 |
|
|
[科技知识]如何评价openai离职员工Karpathy离职做课，为什么他的真东西课程还没有李一舟的学员多？ |
| [收藏本文] 【下载本文】 |
|
如何评价openai离职员工Karpathy离职做课，为什么他的真东西课程还没有李一舟的学员多？ 关注问题?写回答 [img_log] 认知 知识付费 OpenAI 程序员? 人工智能? 如何评价openai离职员工Karpathy离职做课，为什么他的真东西课程还没有李一舟的学员多？ |
|
他讲的是非常不错的，而且看的人也不少，加起来有几百万了。 |
|
|
他的内容并不难，其中“Intro to Large Language Models”翻译成中文的话，没有计算机基础的人也完全能看得懂。 至于为什么没有炒的非常火，大概是他从来没想过炒这个吧。他要赚钱的话，方法太多了。 这是我对Karpathy的“Intro to Large Language Models”做的笔记： |
|
|
1，大模型的开发：1.1 两个文件： 对于大模型是什么，Andrej的解释非常有趣，本质就是两个文件： 一个是参数文件，一个是包含运行这些参数的代码文件。前者是组成整个神经网络的权重，后者是用来运行这个神经网络的代码，可以是任何编程语言写的。 有了这俩文件，再来一台笔记本，我们就不需任何互联网连接和其他东西就可以与它（大模型）进行交流了，比如让它写首诗，它就开始为你生成文本。 |
|
|
1.2 有损压缩（loss compress）： 那么参数从哪里来的？当然是通过模型训练。 本质上来说，大模型训练就是对互联网数据进行有损压缩，需要一个巨大的GPU集群来完成。 以700亿参数的llama 2为例，就需要6000块GPU，然后花上12天从大概10T的互联网数据中得到一个大约140GB的“压缩文件”，整个过程耗费大约200万美元。 |
|
|
1.3 下一个词是什么： 这个“压缩文件”，就是大模型对世界的理解，它就可以据此工作了。简言之，大模型的工作原理就是依靠包含压缩数据的神经网络对所给序列中的下一个单词进行预测。 比如我们将“cat sat on a”输入进去后，可以想象是分散在整个网络中的十亿、上百亿参数依靠神经元相互连接，顺着这种连接就找到了下一个连接的词，然后给出概率，比如“mat（97%）”，就形成了“猫坐在垫子上（cat sat on a mat）”的完整句子。 |
|
|
1.4 幻觉 由于训练是一种有损压缩，而且问题也不总是在训练数据中，大模型给出的结果是不能保证100%准确的。 Andrej叫大模型推理为“做梦”，它有时可能只是简单模仿它学到的内容，然后给出一个大方向看起来对的东西。 |
|
|
这其实就是幻觉。所以对于大模型的返回结果大家一定要谨慎对待，尤其是类似数学计算、逻辑分析以及关于事实的内容。 |
|
|
1.5 微调(FineTune) 在用大量互联网数据训练之后，还需要进行第二遍训练，也就是微调。微调强调质量大于数量，不再需要一开始用到的TB级单位数据，而是靠人工精心挑选和标记的对话来投喂。 |
|
|
不过在此，Andrej认为，微调不能解决大模型的幻觉问题。 1.6 如何训练自己的大模型 总结来说，如果你想训练一个自己的ChatGPT，步骤如下： |
|
|
阶段一：预训练（频率大约每年或者更高） 下载大约10TB的互联网文本数据；准备一个包含约6000个GPU的算力集群；使用神经网络将文本进行压缩处理，需要大约200万美元+12天；得到基本模型； 阶段二：微调（频率大约每周或者更高） 准备标签说明文档；雇用人员收集100,000个高质量的理想问答对，或者是对比数据；在这些数据上精调基本模型，需要大约1天；得到助理模型；进行大量评估；部署；对模型进行监控，收集错误情况，然后回到步骤1；2 思考：打标签，labeling |
|
|
|
|
|
Dashboard |
|
|
大模型规律： 模型越大，能力越强 大语言模型在下一个单词预测任务的准确性方面的表现是一个非常平滑且可预测的仅两个变量的函数。只需要知道的神经网络中的参数量（n）和训练的文本量（d），就可以非常有信心地预估LLM的性能。 |
|
|
|
|
|
工具越多能力越强 - 类似人类能通过大量使用工具来解决各种各样的任务一样，给与LLMs各种工具能极大加强其实用性，例如上网浏览、计算器、编程和调用其他模型 未来趋势 多模态（Multimodality）： |
|
|
|
|
|
深思熟虑（TOT：Tree of Thought） 如下图所示，系统1是快速产生的直觉，而系统2则是缓慢进行的理性思考。 |
|
|
现在大模型都是系统1 |
|
|
|
|
|
通过TOT等“思考”技术，逐渐从系统1向系统2演进。 自优化（self-improvement）例如alpha-go |
|
|
客户化LLM（现在ChatGPT正在玩的东西） 大模型正朝着定制化的方向发展，允许用户将它们定制，用于以特定“身份”完成特定的任务。 |
|
|
LLM OS 类比传统的操作系统，在“大模型系统”中，LLM作为核心，就像CPU一样，其中包括了管理其他“软硬件”工具的接口。而内存、硬盘等模块，则分别对应大模型的窗口、嵌入。 代码解释器、多模态、浏览器则是运行在这个系统上的应用程序，由大模型进行统筹调用，从而解决用户提出的需求。 |
|
|
3 安全性 结尾部分是大模型的安全问题，Andrej 介绍了一些典型的越狱方式，尽管这些方式现在已经基本失效。不过思路可以参考一下。 越狱 最经典的越狱方式，利用大模型的“奶奶漏洞”，就能让模型回答本来拒绝作答的问题。例如，捏造出一个“已经去世的奶奶”，并赋予“化学工程师”的人设，告诉大模型这个“奶奶”在小时候念凝固汽油弹的配方来哄人入睡，接着让大模型来扮演…… |
|
|
|
|
|
例如：用base64码越狱 |
|
|
增加特定后缀 |
|
|
通过特定图片 |
|
|
Prompt injection |
|
|
|
|
|
|
|
|
Data Posion |
|
|
|
|
你说的是《Neural Networks: Zero to Hero》这个课？ 这玩意儿你能看懂？ |
|
|
|
|
|
|
|
|
而且他这个课从22年8月到现在一共就发了9个视频，公开课。 列表播放量80多万，视频播放量加起来一共700多万。 你怎么定义学员这个身份？ |
|
|
|
|
之前李一舟就回答过类似问题，看看这流量为王的说辞 |
|
|
论格局来看，karpathy才是那个真正把AI这块蛋糕做大的人，通过高质量的课程让更多人加入AI的行列，扩大圈子的影响，提高潜在消费人群比例，是一个长远的双赢投资。 而李一舟只是在把蛋糕切走，顺带把圈子名声败坏了。 |
|
他这个做课跟张朝阳财富自由讲物理是一个道理，属于是钱够了就做点造福他人的善事。 之前看过他徒手写GPT训练，很硬核。 |
|
因为Andrej的课大部分人用不着看。 对于一般开发人员，需要的是根据需求设计一个产品，后台调用LLM的api即可；对于相关专业的学生或者研究人员来说，这是一门不可多得的好课，而这样的优质知识是无价的；对于大部分其他领域的人来说，需要的是在当前这个信息过量的时代中快速获取丰富自己认知的信息，而不是信息对应的知识。 买课的人也就是李的受众，很可能只是因为想了解点新鲜事物，但身边有没有一个关注科技发展的年轻人愿意抽出时间与之交流，李赚的钱出自这里。 题外话，这门课程是我学过的课程中自认为最棒的深度学习入门课程，说是入门没毛病，毕竟是从函数求导开始讲的。但里面的内容十分充实，从n-gram到MLP、CNN，直至GPT模型的过程中，几乎所有深度学习领域影响重大的成果（如batch norm，word2vec）都被介绍并加以实现，前置知识仅有基本的微积分，线性代数知识和python基础语法。没有也不用担心，喜欢的话直接开始学起来，有什么问题遇到了再查就好。 附一个本系列课程第一章：从零搭建一个自动微分框架的个人笔记，抛个砖引下玉?? 从0实现一个极简的自动微分框架 - Nagi-ovo?nagi.fun/micrograd-tutorial |
|
|
3.1 又加了几篇 GPT的现状 - Nagi-ovo?nagi.fun/state-of-gpt |
|
|
LLM演进史(一)：Bigram的简洁之道 - Nagi-ovo?nagi.fun/llm-1-bigram |
|
|
LLM演进史(二)：词嵌入：多层感知器与语言的深层连接 - Nagi-ovo?nagi.fun/llm-2-embedding |
|
|
LLM演进史(三)：批量归一化：激活与梯度的统计调和 - Nagi-ovo?nagi.fun/batch-norm |
|
|
|
|
Karpathy有一种能力，同时或许是种天赋，就是能从无知受众的视角看问题，识别出受众需要理解的关键知识，并且用最容易理解的方式表达出来，不管这种表达方式是语言，代码，还是PPT。 他这种天赋对人类的正面影响可能比他作为一个研究者、一个工程师对于OpenAI带来的影响更大一些。 至于李一舟，我觉得他对人类没有带来太多正面影响。 |
|
Karpathy绝对是帅才，去做课可惜了，中国应该争取把他挖过来 |
|
一个是分析专业知识，一个只是为了贩卖焦虑。 一个是吸引专业以及感兴趣的人群，一个只是为了吸引各行各业人群。 一个完全不做营销，一个就是为了营销。 一个从来不买粉，一个人买粉就买粉。 安德烈·卡帕斯（英语：Andrej Karpathy，1986年10月23日—）是一名斯洛伐克裔加拿大计算机科学家，曾担任特斯拉人工智能和自动驾驶视觉总监。他曾任职于OpenAI，专门研究深度学习和计算机视觉。 目前Karpathy的粉丝量，在油管上的是392K 位订阅者，才发了14部影片。 就是39万个粉丝！ 才发了14个教程！ 不同的是教程多数都是一小时、两小时居多。 全是干货！ Let's build the GPT Tokenizer：让我们构建GPT Tokenizer Intro to Large Language Models：大语言模型介绍 Let's build GPT: from scratch, in code, spelled out：让我们构建GPT，从头开始，用代码写出来 |
|
|
基本上用个网页翻译软件，完全能学习到。 再看看李一舟，李一舟有两个号。 为什么会有两个号？ 一看就是搞营销起号的，还没有7号之前估计还有更多的小号。 再看李一舟其人，不用介绍了，就是清华大学毕业出来的。 跟AI没有任何的专业联系。 说白了，李一舟就是卖AI课的老板。 他不需要有什么AI专业知识，他负责的就是把想学AI的人，引过来就可以了。 所以李一舟的演讲艺术，很直白。 AI能帮你减轻工作量！ 讲的全是AI怎么帮你挣钱！ 你要捉住AI这个风口！ 光是这样还不行！ 李一舟为了增强代入感，就以自己为例！ 中年，中年危机！ 再加上AI能取代的行业，有哪些? 图文设计、写作、视频、编程！ 反正不停地贩卖焦虑！ |
|
|
|
|
|
|
|
|
|
|
关于知识付费是不是真正的学习，用Andrej Karpathy最近的推文回答最合适不过了： 论“学习”的简短化 YouTube/TikTok等上有很多看起来是教育性的视频，但如果你仔细观察，其实它们仅仅是一种娱乐。每个参与者都可取所需：观看的人愿意认为他们正在学习（但实际上他们只是在娱乐）。创作者也很喜欢创作它们，因为娱乐内容有更多的受众、名气和收入。但作为学习，这类内容是一个陷阱，和看《单身汉》几乎没有区别。这就像那些“蔬菜薯条”零食一样，如果你不看配方表，你还以为自己在吃健康食品。 学习既不应该是有趣的，也不一定是枯燥的。但学习时你应该感觉自己在付出努力。它该是本地Up主的“10 分钟全身”锻炼视频，而更应该是直接在健身房进行的严格训练。在精神上，你需要类似挥汗如雨的感觉。这并不是说快速学习没有用，只是如果你真的想学习的话，它是有很多问题的。 我发现，预先明确你的意图是很有帮助的。这个意图应该是一个你脑中的二元值：如果您正在消费内容：您是想娱乐还是想学习？如果您正在创建内容：您是想娱乐还是想教学？在每种情况下你都会走不同的路。尝试寻找介于两者之间实际上什么都做不成。 所以对于那些真正想学习的人来说。除非你想学习一些狭窄且具体的知识，否则赶快关了那些快速上手的文章，关了那些“10 分钟内学习 XYZ”的页面。你要考虑到吃这些“甜点内容”付出的机会成本，然后转而寻找“正餐” - 教科书、文档、论文、手册、长篇文章。分配以 4 小时为单位的学习时间。不要只是阅读，而是做笔记、反复阅读、复述、理解、实践、学习。 对于那些真正想要传播知识的人，请考虑编写/录制长篇内容，让观看者“出出汗”，尤其是在当今这个数量重于质量的时代。给人一次真正的（精神上的）锻炼。这也是我在自己的教育工作中所追求的目标。我的观众会减少。留下来的人可能甚至不喜欢它。但至少我们会学到一些东西。 |
|
|
Andrej Karpathy自己的教学视频就是几乎完美的例子：门槛低，信息量密集，神奇的是难度曲线又很平滑。用最简单的方式解释复杂概念的精髓，同时又不会过度简化丢失细节。最重要的是，看他的课程需要主动思考才能跟上思路，所以会明显的感觉到疲劳。看的过程中并没有什么愉悦的感觉，而所有的正反馈都在完成课程的那一刻，你意识到自己理解了多少新知识，对之前高深莫测的领域完成了去魅。这种付出努力之后的满足感，是不能只靠花钱买课就能体验的。 至于李一舟的课，可能连娱乐都算不上。他更多的是利用人的底层负面情绪：害怕被AI大潮淘汰的恐惧，和想要赚快钱的贪婪。在这方面，李一舟确实是行业佼佼者，这也是很多人说的“他割韭菜的课程能卖这么多钱也是本事”。不过幸运的是，他只是把自己利用人性弱点的能力用来卖卖课，而且还是AI应用这种没什么危害性的主题，没人只骗几千块。如果他换一个领域或者生在另一个时代，他对社会的伤害可就不是骗点钱那么简单了。 |
|
哎呀，就不得不提相由心生的（伪科学）理论了。 Karpathy的课，你看看他讲课的表情，他是真的喜欢这些技术玩意，他吸引来的学生，想必也是真的喜欢这些技术玩意的。 李某舟的课，你看看他宣传时的表情，他是真的想赚钱，他吸引来的学生，大概也是真的想赚钱的罢。 唉。 |
|
哦，前者门槛太高，没点储备知识，学不会。 后者门槛太低，是个人都成。 毕竟后者就是抢热点，快速收割想要致富的韭菜的。 他可不管知识难不难，他只管他能到给学员多少看上去有东西的垃圾。 毕竟大多数学员没有相关概念，捡了垃圾跟捡了个宝一样。 |
|
事实正好相反，Karpathy 的 LLM 的课 148 万人，李一周有多少？ |
|
虽然课程内容有差距 但是学以致用最重要 圈子文化，学了用来吹牛x最没用 人家离职员工的学生可以自发组建开源社区，分享项目，迭代优化解决bug，跟着一些国内营销课程能做到这个地步吗 |
|
这是一个很好的问题，绝大多数人对于商业玩法是门外汉。 因为打法不一样，李一舟的课看起来很简单，但是想想那么多卖AI课的为什么就李一舟出圈了。 |
|
|
当时我多次刷到了，但是对此表示质疑。没到一年，一个月就凉了~= |
|
|
1月30号我就吐槽了一下 你可以说他交付有问题，但不能说他销售打法有问题，这是一个酒香也怕巷子深的时代。 商业化是产品获得广泛市场的必须路径，而销售是商业化的起点。卖不出谁还知道你呢？卖不出去赚不到钱谁还会继续呢？ 李一舟把卖出去（销售）这件事做得非常好，这比绝大多数上市公司，甚至说比全世界99%的公司销售端都做好的，接下来可以进行到第二步，投广告，放大生意。（多数产品倒在第一步） 李一舟其实是死在第二步的，因为他抖音流量见底之后，来微信生态投放流量，尤其是朋友圈。 腾讯的ADQ就是腾讯的广告远不如抖音的算法精准，他的用户其实是五环外的尤其是二三线以下城市，那些不了解AI的学生、家庭主妇、老人等等小白用户。 但是腾讯老把他推给我们这种圈内同行，亦或者不是圈内但是懂行 有一定AI常识的人。 最后李一舟怎么倒下的？ 就是那张中美AI对比图，那天我至少在10个以上交流群见到，并且很多群内分享了至少5次以上，顶级爆梗。 |
|
|
2月19号开始病毒式传播 |
|
|
朋友圈至少看到5个人发了 |
|
|
当时群内预测应验了 |
|
|
一张图三天时间毁掉一个亿级IP 当时我就预言，这图必火，并且以这张图作为视频话题必火。 果不其然第二天短视频同行们开始拿他开涮了，短视频触达用户太快太广泛了。 正值Sora浪潮，话题进一步出圈，直到上央视，直到禁止关注~ 正所谓君以此兴，必以此亡。短视频之于李一舟，就是这样。 |
|
因为焦虑的是不会用，而不是不懂。 深入理解理解大模型相对于会使用大模型，难度不在一个层次上。 会用对于大部分人来说就很好了，确实能有效地帮助提高生产力，我本身是个码农，用ChatGPT，写代码的效率真的大大提升。 不仅可以让他帮忙写代码，有时候很大一篇doc也可以直接交给他帮我读然后总结，并告诉我怎么做才行，非常的方便。 不过在国内使用ChatGPT的壁垒太高了，也可以尝试使用国内的一些AI，比如文心一言、baichuan之类的，也可以使用一些独立开发者开发的小程序，比如可以试一下微信小程序AIForge，我觉得蛮好用的，体验和ChatGPT基本一致。 |
|
真的多难学啊，就像高考后大家都说语文作文出的水平不行，从来没有人说数理化最后一道大题出的不行 |
|
Andrej Karpathy离开OpenAI的原因主要是为了追求自己的个人项目。他在社交媒体上宣布离职时，明确表示这一决定并非由于任何特定事件、问题或争议，而是因为他想要专注于自己的个人项目。据报道，Karpathy正在开发一个全新的“AI助手”，并且与OpenAI的研究主管Bob McGrew保持密切合作。 关于Karpathy的课程和李一舟的课程受众数量的差异，这可能受到多种因素的影响。首先，Karpathy的课程可能更加专业化或针对特定的受众群体，这可能限制了其受众的范围。其次，李一舟可能更早进入这个领域，或者在网络教育和社交媒体上有更多的经验，这可能有助于他吸引更多的学生。此外，课程内容和教学风格的差异也可能是影响因素之一。 总的来说，Karpathy的离职是为了追求个人职业发展，而他的课程受众数量可能与多种因素有关，包括课程的专业性、市场定位、推广策略等。 |
|
因为直播买课和算法研发是2个不同的行业领域，面向的客户也不同，做研发面向的科学家，工程师客户和公司领导，做直播面向的一般都是小白非专业用户，一舟的课专业人士根本就听不下去， 很多问题质疑一下就被拉黑了，只能忽悠下非专业人士 想要卖课割韭菜，需要的是懂传播懂人性，能够精准识别用户，技术能力本身反而不重要。和技术研发的技能完全不同 |
|
AI公司太内卷了，而且真的非常忙碌和紧张，Kp离职休息一下也是正常现象，如果不能保持精力聚焦一线，培训更多学生对AI行业发展更为关键。但是如果真要从事这个行业，要想学真本事，还是非常枯燥单调的过程，自然不如听一些简单入门的速成培训更为轻松。 |
|
受众不一样！ Kapathy大部分课你没有AI基础编程基础会听不懂的，也就不会感兴趣，他的AI概念类课吸引的也会是虽外行但专业人士；Kapathy挺有讲课天赋的，他在Stanford读博士时候代课就挺受欢迎的； 李一舟的课涉猎不多，B站推过来看了看，可能类似刷题指导那种快速入门之类的，不太感兴趣，不一定对啊，李一舟倒是挺有讲课天赋的； |
|
|
| [收藏本文] 【下载本文】 |
| 上一篇文章 下一篇文章 查看所有文章 |
|
|
|
| 股票涨跌实时统计 涨停板选股 分时图选股 跌停板选股 K线图选股 成交量选股 均线选股 趋势线选股 筹码理论 波浪理论 缠论 MACD指标 KDJ指标 BOLL指标 RSI指标 炒股基础知识 炒股故事 |
| 网站联系: qq:121756557 email:121756557@qq.com 天天财汇 |