| |
|
|
| 首页 淘股吧 股票涨跌实时统计 涨停板选股 股票入门 股票书籍 股票问答 分时图选股 跌停板选股 K线图选股 成交量选股 [平安银行] |
| 股市论谈 均线选股 趋势线选股 筹码理论 波浪理论 缠论 MACD指标 KDJ指标 BOLL指标 RSI指标 炒股基础知识 炒股故事 |
| 商业财经 科技知识 汽车百科 工程技术 自然科学 家居生活 设计艺术 财经视频 游戏-- |
| 天天财汇 -> 科技知识 -> 正在做的idea被大佬撞车是一种怎样的体验？ -> 正文阅读 |
|
|
[科技知识]正在做的idea被大佬撞车是一种怎样的体验？ |
| [收藏本文] 【下载本文】 |
|
1-计算机视觉，视频未来帧预测 2-论文idea撞车 |
|
自问自答一波，以舒缓崩溃的心灵... 先说下背景：本人是计算机视觉在读研究生二年级，目前正在开展一项视频未来帧预测的paper. (1) 就在不久前，刚刚做完并写好一篇paper等待投，然后交给导师 review过程中经历了ICCV2019_paper list release 和导师审稿(CVPR2020), 非常神奇地被撞车了 2篇 accepted paper。。。窝巢，万念俱灰白做了，也没必要再投了，心态当时就崩了。。。 (2) 收拾好心情，一个月前，准备做新的idea。然后开始了夜以继日的survey, 调研了大概30篇paper后和几个合作者终于讨论出一个还不错的 novel and promissing的idea, 一番survey后发现没有人做，于是立刻开始写baseline, 手撕数据集。。。就在两天前，合作者凌晨两点发我一篇当天挂在 arxiv 的paper。当晚失眠，一夜未睡，心里百味杂陈。。。不管是motivation还是具体的pipeline and detail 都考虑得一模一样。。。我怀疑自己是不是被窃听了？？？还没开始就结束了？？今天认真精读了对方整篇论文，非常佩服。这篇paper在实现上几乎做到了我认为的无懈可击(不是指idea，是指实现手段非常清晰不像某些paper含糊其辞想糊弄人)，性能尚可(这点是它的对比baseline貌似是有点问题)，除非改motivation 否则不可能去动它。。。意味着我自己这个正在推的work可能要放弃了。。。 (3) 于是乎，google了通讯作者的简历，窝巢。。。是17年的MIT TR35的大佬 (SJU的卢策吾也是某一年的TR35)，HKUST本科，Stanford PHD, 28岁回HKUST做新AP，常年和CUHK的 jiaya jia 有合作的 qifeng chen大佬。。。当年还拿过ACM world final top2, IOI top 1(算法大佬，高中发明过 SBT 这个data structure) 。。。我他么怎么就运气这么好，做论文还碰到硬核大佬枪口上了。。。 仅此一事，感受非常多。。。 (1) CV太内卷了，不能本科三年级做起，就不要再做了。。。你干不过那些大佬的，何必走最难的路？ (2) 做论文最怕的就是遇到被大佬撞车，撞得你直接放弃，挣扎改一下的余地都没有。。。大佬做的东西是很硬核的，没留啥可以 increment space to modify。只能乖乖从头再来。(我运气是有多好，能和qifeng chen大佬撞一次？？？) (3) 有机会一定要做leader, 不要做 follower, 整天跟在别人已经确定的setting下面，跟着别人的屁股跑，累死都不一定做得出好paper. 如果有的选，选一个最新的方向，别整这些老的不能再老的东西玩了，太他么内卷了。。。(当年坚持因果，说不定就开花了？或者做多模态呢？few-shot 也好啊。。。做CV主赛道的work真的是用命在拼论文。。。突然心疼那些做 detection的同行一百秒) (4) 真的不知道，学术生涯还能走多远？最后一次尝试了，9月前做不出来就上班搬砖。找不到好的 PHD offer 读博也是自杀式读博，不敢读不敢读。。。 |
|
我刚入门GAN的时候想把self attention拿来提升GAN的性能，和good fellow他们撞了，和当时合作的老师提出来，他也不太懂GAN就说我们一步步来，然后过了5个月后他那篇发了，现在已经近四位数citation了。。。懂的人应该都知道哪一篇，我估计当时很多组都想到了毕竟在那两年（去年开始已经不太行了）attention+X = 不水白不水，其实也没很心疼，当时自己那么菜，就算真去做也不一定能调出来。反而觉得自己的研究直觉还ok？ 后来也有一些发现idea被别人做的情况，但都发现的比较及时，效率高了之后真开始做一个题从写代码开始算一般一两个月左右就成型了（成型是指那种虽然还没完善，但核心数据已经在了，属于那种即使被抢发arxiv也能马上跟着一起放arxiv的，但一般不是迫于无奈没必要给读者们看未成品。） 有个有趣的事情是有段时间研究半监督提升鲁棒性的时候发现有四篇文章几乎是前后挂的arxiv（应该都是投的nips），核心思想是一致的，但其实跑下来方法细节会拉开非常多的性能。最后会怎么接收没来关注。 自己也有一个idea和别人撞车的，基本算是同期工作，出发点和框架是一致的，但核心解法和性能是我们完胜，对方挂arxiv的时候我们差不多刚开始在写文章。其实对方采用的方法我们一开始也想到了，但都一致认为性能上完全满足不了需求所以一直在寻求更好的解决，他们后来中了iccv（虽然我一直很诧异这个性能也能中？可能是选题比较新颖吧。。。）然后我们那篇很不幸现在还漂泊在外。。。 因为懒癌犯了就不贴论文链接了。。。 |
|
我是ML方向，去年在纯理论方面跟Princeton的撞车。当时，自己搭了一个理论框架，从中迅速得出了一个自己觉得也许可以发论文的结论，虽然当时理论还没全面完善，也没去实验验证，但论文题目已经想好。第一时间就去搜，立刻搜到一篇放在arxiv的论文，题目让我愣住了，再看其摘要，内心就是，这是谁？为什么不经过我同意就擅自帮我把论文给写好了？看了一下一作的主页，刚刚中了AISTATS oral，camera-ready都还没出来，赶紧把论文研读一下。结果发现，理论建模方式完全不一样，但是却得出了一模一样的结论，即某参数 θ" role="presentation">θ\theta 是最鲁棒的。 简要说，我们研究的主体是，输入 -> 某类可参数化的方法 -> 输出。参数空间特别大，不可能遍历。输入是可以带扰动的，虽然可以通过固定随机种子，或者采样多个随机种子求平均去使其不带扰动。而我们研究的问题是，输入带扰动的情况下，哪个参数的鲁棒性最好。他们的建模方式是，无参数扰动 + 优化worst-case距离 (ℓ2" role="presentation">?2\ell_2 范数)，而我的则是，假设扰动的协方差矩阵的形式是 σI" role="presentation">σI\sigma\mathbf{I} + 优化worst-case entropy。 由于经历了不小的震撼，突然发现我的协方差矩阵的假设可以更general（但依旧比较ideal），此时谁是最鲁棒立刻就变了，但始终会坐落在参数空间的某一个小子集 A" role="presentation">A\mathcal{A}，( θ∈A" role="presentation">θ∈A\theta \in \mathcal{A} )。再看他们的synthetic noises实验验证，人工加了N(0,σI)" role="presentation">N(0,σI)N(\mathbf{0},\sigma\mathbf{I}) 扰动，这不很符合我的建模吗？然后我把 σI" role="presentation">σI\sigma\mathbf{I} 换成别的自己去做实验，可以发现我的预测才是对的。然后再去跑不同数据集，用真实的扰动去验证，可以得出，最鲁棒的参数始终是在 A" role="presentation">A\mathcal{A} 中且经常不是 θ" role="presentation">θ\theta （只跟已有被研究过的参数对比，还没覆盖整个参数空间）。于是我心胸宽广，立刻就原谅他们了[狗头]。PS. 我挺喜欢他们的论文，从中偷学了一点理论技术。 看到他们的论文时，我只能分析出，在 A" role="presentation">A\mathcal{A} 上的最优解是谁，而跑代码在整个参数空间上随机采样，最优解始终是最优，最终我想了几天几夜才成功证明了在 A" role="presentation">A\mathcal{A} 上得到的最优解也是整个参数空间上的最优解，于是开开心心写了论文投NeurIPS-2023。 正文截止后开开心心整理附件中的证明，写到最后发现，我在正文到处宣传我得到的最优解具有唯一性，但我压根就没证明出来啊！且 n=1" role="presentation">n=1n=1 或 2" role="presentation">22 时，显然有多个最优解。然而高压之下一般有奇迹，我恍惚了几个小时顺手证明了 3">n>3" role="presentation">n>3n>3 时最优解是唯一的。最后就是审稿分数6666中了。 PS. 确实没想这么多人想看论文，我的论文在下方。 https://openreview.net/forum?id=u359tNBpxF?openreview.net/forum?id=u359tNBpxF |
|
|
18年12月份做本科毕设的时候，老板给了个简单的idea，用metric learning的目标函数作为正则化项，以提高模型的对抗鲁棒性。idea很简单，本科生就能轻易做出来。当时年少无知，对这个问题的理解不够深入，于是参照 [1] 的实验设置做（然而 [1] 用的是 FGSM-based adversarial training），并且把 [1] 作为 baseline。最后做出来效果与 [1] 相比并不显著，很失望，我也没深入思考原因（后来才意识到 PGD 的效果会更好，但当时我用 FGSM 很大一个原因是为了省时），就当混个本科毕业论文算了。 后来无意间发现 NeurIPS 2019 中了篇 《Metric Learning for Adversarial Robustness》[2]，也有一篇类似正则项的文章中了当年的 ICCV [3]。极不情愿地扫了眼 [2]，最大的感触就是人家的 Motivation 和 Experiments 写得是真的不错，要我来写也只能扯得平平无奇。另外，[2] 的实验并没有去跟 [1] 的正则化项进行比较，这时我才明白，从不同的角度设计的正则化项，并不一定非要争个高下。 有时会想：如果当时不把 [1] 作为 baseline，我是不是会把PGD的实验继续做下去，是不是就能出一篇成果了？有时又会安慰自己：这个idea别人能轻易想出来，说明并没有太大的价值，发了顶会也会被淹没在文海中。 可终究是个遗憾啊。一篇水文对大佬来说可能不算什么，但对于一个挣扎在温饱线上的新人来说，却可能是救命稻草。 [1] Improving the Generalization of Adversarial Training with Domain Adaptation, ICLR 2019 [2] Metric Learning for Adversarial Robustness, NeurIPS 2019 [3] Adversarial Learning with Margin-based Triplet Embedding Regularization, ICCV 2019 |
|
没关系，像我这种不要脸的不管撞不撞idea，我写完就投，哪怕别人论文都出版了我也照投不误。如果把我本来的应用领域占了，那我就换个应用领域说自己是第一个研究出来的，因为我相信总会有审稿人没读到别人的文献。如果被人质疑的话，response就说当时没检索到，如果这个期刊不中就换另一个期刊嘛，顶会自然是没那么容易混过去，但期刊就不一定了，总有能收文章的地方。毕竟自己辛苦研究很久的东西，我是一定要发出来的。 |
|
大一的时候和ccz一起做出了O(n^1.41)的区间逆序对，还顺便规约了十几个问题 然后突然在一个群里面看到有人说什么区间逆序对的论文，心头一紧 一看果然被撞了（ 不过还是挺开心的，因为发现这玩意居然还能发顶会... |
|
idea撞车要习惯，别人又不是傻子，肯定有人想到的。更多时候拼的不是idea而是团队的强大，有些idea想到了，好的团队可以立马实现，有些团队可能由于硬件等一系列问题要几个月才能实现，这就是区别。 说到idea撞车我也有亲生体会，cvpr2020的一篇深度学习合传统图割算法结合，比如与deeplab结合，达到像素级别的精细分割。这个idea在19年我实习时想到的，由于没有团队，自己一个人还没有硬件，一直到19年末才实现，效果提升2到3个百分点。但是之后发现有人写了，好像是阿里和清华写的。最后我也没管了，老老实实毕业就好了，这个算法最后在公司落地项目中应用了，效果非常不错。 2020年疫情，想到了一个不一样的注意力，由粗到细的分割，和画画一样，核心点就是将粗分割中不确定的区域，局部上采样，再进行重分割，结果下半年看见有人发了（具体哪篇我搞忘了，也是顶会的），思路几乎一模一样。这个想法其实我实现过，但是同事觉得不优雅我也觉得确实不优雅，所以这个算法放弃了。 还有一篇类似hrnet_ocr中的ocr，其实都应该很容易想到，只是我利用的传统算法加在里面，没有加入额外的参数。 还有个斜框目标检测的，不过这个暂时还没有发现撞，撞了也没事，反正我也不是为了发文章，完全只想验证自己的结果，所以不怎么可惜吧。 最近也想有时间了把这些算法在知乎上面写出来，能开源也想尽量开源，反正也换不来钱，倒不如和大家交流交流。 |
|
体验自然是很糟糕的. 撞idea的paper中的越好, 体验越糟糕. 付出的精力越多,体验越糟糕. idea越巧妙,体验越糟糕. 论文被抢先发表在学术界是很正常的现象,真正发生之后有什么能做的? 建议搜索一下各个大佬的读博心得, 基本上都有对于这个事情的描述与建议. 他们的建议应该比在下面回答的人靠谱的多. 我一般遇到这种事情就会采取自我安慰法: (1) 如果idea平平无奇,说明没什么价值,大家都能随便想到,没什么意义;如果idea很不错, (2) 如果idea非常巧妙,安慰自己已经跟上了大佬的思路了; (2.1) 如果idea很巧妙但是已经被做的很好, 心服口服; (2.2) 如果idea很巧妙但是做的一般, 那就继续改进. (3.1) 最重要的是, 如果别人的工作已经发表, 你还没开始做, 那也没什么好忧愁的, 因为别人比你提前很多想到. 从有idea到做出来要遇到很多的坑, 花很多的时间. 比如你说的这篇paper,应该从一年多前就有这个明确的idea了. (3.2) 如果你基本上已经做完了,别人刚好发表,就安慰自己是concurrent work, 该投的还是投. (3.3) 最惨的是做到一半, 那你只能看看能否改进了. 总而言之,体验很糟糕,但是赶紧想想有什么能做的才是更重要的.如果真的没办法也只能接受现实, 换一个idea. 最后: 如果我没有记错的话,这篇video prediction的一作之前有一个别的idea, 也撞车了,后来才换的现在这个方法来做video prediction. |
|
不算idea撞车，但也算撞了。 我这几周在做强化学习游戏王AI，这几天KONAMI的游戏王25周年大会就宣布推出了MDAI，感觉也是用强化学习做的，现在只支持青眼白龙和黑魔导卡组，进度和我差不多。 这一次，就由我来 F**K KONAMI |
|
唯一的感觉就是: idea is cheap, show me your code. 随便怎么天花乱坠地想，代码不写出来，效果做不出来，我觉得就是相当于没有。 idea novel但是完全不work的东西不少。现在感觉这玩意就是玄学。所以idea做不出来就是一文不值。 另外，借用老师的一句话：找到一个好问题要更有价值。现在看到一些强行加加加的东西只感到无聊。 |
|
我和大佬前后脚在arxiv上提交了差不多一样的论文，它引用上百了，我还只有一个，还是半自引。。（就是吃吃喝喝来威逼利诱同行引用）。。 -------------你以为故事结束了吗---------------------- 后来有一次为了促进科研沟通，我做了一个报告，讲了这个工作。大佬头也不抬说，你这个工作和我们很类似啊，你引用我们了吗。我谦卑地笑笑说，sorry，我不读论文。 |
|
学控制的时候突然意识到Resnet是forward Euler，搞了一个类似LM-architecture的东西在cifar10上跑了一下发现效果还行，交了course proj就没有再做了； 然后18年看见2prime大佬在icml的文章，发现我做的在深度和广度上都是远远不及的，好像并没有感觉到失落，感觉很赞叹也很受启发，而且感觉有人跟我出发点差不多但是做得比我好很多很开心？ 然后再后来19年我就开始追更他的论文了 (可能跟其它答案大佬相比是我不励志做科研心态比较好？ |
|
Incremental的idea 自然是很容易撞车的。 你有一个idea的时候，永远不知道有多少个组已经快做完了等着开party... |
|
体验很糟糕。 但最近发现：撞车意味着你跟上了一批走在前面人的思路。有些成果在你发现的时候别人就已经做完了，可能有些是几年前的成果，有些则是近期成果。无论如何，苦恼没有作用。 而应该仔细看别人的论文，别人肯定做了你还没做的实验。基于这些实验来验证自己的想法，哪些是正确的，哪些是错误的。然后思考某问题用某方法（撞车的方法）到底对不对，或者一下步是什么。 如果没有next，只能说看得不够远，段位不够高。从培养眼界开始吧。 从另一个角度说，不撞几次车，赶紧怀疑自己是不是搞错方向了… |
|
讲一下大导师撞车别人idea 读博前半年，他给我发了他写的notes 让我看能不能往下做，很小众的一个方向，半个月后发现加拿大那边有个组已经做了，虽然理论形式不一样，但本质上是一样的东西 跟导师讲了，他反而很开心，说自己的idea不是瞎想的 |
|
前段时间我有门课，老师让我们展示论文思路。我展示完了以后，老师说她一个学生就写的我这个题，而且已经还得差不多了准备投稿了。这个题我想了大半年才最终确定，各位知乎大佬，你们对这种情况会怎么办？ |
|
看了一圈回答，全都是深度学习方向的撞车，毕竟搭积木，我觉得撞车很正常，主要看故事讲的怎么样了。当然，问题问的CV方向，并且最火的方向也就深度学习了。 我之前弄一个比较传统的方向，好不容易想到了一个点子（别人都是单逆向思维，我那次双逆向思维思考了一下，豁然开朗）然后开写，边写边查，两个月后一个顶会突然发现一个撞车想法。（我在知乎上分享过多次） 但是，我跟他们出发点不同，我是从直观的意义往下推导出来的一个算法，他们是从矩阵的一些性质推导出来的一个算法。不过本质实现上，我发现我们确实撞车了。具体来说，我觉得他们在理论分析上确实给我启发了。 我没办法，就硬着头皮改，继续往深入做，并且刻意避开了他们后来走的方向（我跟他们作者交流过，他说了他们后续做的东西，还没投，我就避开了他们那个方向），发了低一级别的会。 这还没结束， 到了非常后来我发现，实际上他们那个算法的优化算法的代码，是有明显问题的。因为他们自始至终都没有从问题含义出发，而是借着矩阵的一些性质往下做，实际问题没那么复杂，所以他们反而做的有点复杂了。 PS： 我们研究的那个问题下面，细分方向上的好几个论文，我发现他们的算法实际上都是明确错误的（一个是算法原本就是错的，可以严格证明他们的错误，但是他们愣说误差可控；一个是代码实现绝对有问题，因为没有彻底理解问题），但是他们都发出来了顶会，就一个原因，快！那次撞车对我影响很大。因为紧接着后来一次，我看到朋友圈一个组的人说他们中了个论文，一看题目，我就觉得跟我思路一样！饭都吃不好了。专门问了下，发现他们是做的另一个问题，不过他们解决思路跟我解决的这个问题的思路非常类似。 |
|
我18年的时候有一个idea已经算完了，正在写初稿的时候，发现同样的文章刚好在Phys. Rev. D上已经发表了(他们没有挂arXiv)。我感觉等我写完初稿，导师改完再投稿至少还要两个月，那时挂arXiv写Note added也明显太晚了，就放弃了。 那段时间心情相当不美丽！ |
|
（聊聊自己的情况，顺便给自己的文章打一波广告） 摘要 之前搞DNA存储的纠插删替错误的编码，我想到了个好的idea。去年12月底，有个大佬的团队把文章挂arxiv了，搞得自己很难受。虽说这个课题是我自己搞着玩的，但是被人提前挂出来感觉还是难以接受。后来对比了一下，发现还是有点区别的，就继续完善自己的特点，争取搞个文章投一投。（况且人家2年前就拿到了基金了，说明人家早就开干了，而我刚起步。） 做这个工作时，感觉自己融合了10多个“创新”的idea，但随着查阅以前文献，发现独属于自己的idea貌似不到1个。每看到相似的/已经被提出的idea时，都要失眠一阵。好在，在相关领域朋友的指导下，明确了创新点，一块搞了篇文章，先投了个会议。 心态总是在被否定时崩溃，但还需要后续一系列的行动将其抚平。 大致经历 之前搞DNA存储，为了处理插入、替换、删除同时出现的错误。我试图用自顶向下的想法去筛码表+编解码机制来实现纠错。 Alepha E：（猛犸杯）DNA存储比赛一点感想17 赞同 · 0 评论文章 |
|
|
但码率太低，想要搞个文章得把码率提上去。 这个naive的idea在完善的差不多时候，发现23年12月底，天大那边的团队搞了个DodoCode[1]的文章挂arxiv了。当时感觉就是跟大体跟我这边的思路相差不大。然后又是半夜看见的，弄的一晚上没睡几小时。。 后来冷静下来，虽然整体方向差不多——都是从码表入手。但是，这个想法的难点在于怎么获取。（ps:就好比只要你能控制原子的分布，你就能制造金子，但问题是如何实现。想法不难，做到难。）仔细读了几遍，发现具体实现还是差很多的，理论上还是可以投投试试。。 然后，我接着完善。大致上我是做了这么件事：搞了套算法[2]，可以计算出整个码表距离实现纠错目标的差距，然后通过加后缀的方式来缩减差距，直到整个差距为0，停止计算。而这样依赖，就把纠错能力这块直接拉满了（即，只要预先设定好最大错误数，不论是插删数还是替换数，还是这俩同时出现，抑或是笼统的编辑数，甚至是针对不同碱基不同错误类型的个数，只要你预先设定好，都可以生成一套码表用来纠正相应错误；从而不用绞尽脑汁设计编解码机制，可以说：Codebook is all you need）。 不过码率就比较随机，整了个蒙特卡洛方法摇骰子摇一个码率可以接受的表（只要算的次数多，就一定行）。至于编解码的话，方案就多很多了。至于纠错呢，就是怎么生成的码表，就怎么纠错。（本质上，把纠错码的问题转化到了NLP中拼写检错的范畴上了） 最开始，我这个想法就是觉得：代数地设计编码机制过于fancy，不如直接搞码表好。但如何搞码表就是要衡量码表中两两距离足够大。于是就学习了一下levenshtein distance、lcs distance之类的算法。然后发现，纠错码本质上是“球堆积”问题，除了优化堆积率，还可以降低球半径的方式来提升堆积率，而且这在DNA存储中是合理的（因为[3]指出，AGCT不同错误的出现频次不一样，所以尽可能利用好这一特性）。 为此还自己设计一套自以为“前无古人”的字符串算法能够满足（后来发现1970年那阵就有很多相关的文献了。。。。）： 能够计算带约束条件的编辑距离（后来发现早在这篇文章[4]就已经有报道）能够实现增量计算（后来发现早在这篇文章[5]就已经有报道，而且后续也有相关idea的优化）能够实现“lazy”的计算（后来发现早在这篇文章[6]就已经有报道，类似的idea在后来好像叫levenshtein automata）。 当然，甚至“生成码表”这个想法也不是最新的，早在前几年就有人这么想过，不过他是专门针对替换类型错误去做的，对于出现插删倒是没有涉及。而且，针对DNA存储的这种纠错码的构造是没有被提出过的，遂整个文章，先挂arixv占坑。。 目前我的github[7]上只放了已经生成出来的结果。码表生成的算法还是等文章被录再说） 感想 最大的感觉就是：“太阳底下没新鲜事”。 其实到现在，很多感觉很新的想法基本上都被前人想的差不多了，要么就是太难没法做。 所以要想搞文章，要么绝活——搞出前人搞不定的；要么手快——蹭上热点话题。当然，还需要一双善于观察的“眼睛”，挖掘自己工作与前人的差别（要不不好写文章呀不是吗）。 （我挂arxiv上的文章哪里要是有问题，欢迎讨论，毕竟这个文章当时写的有点赶。。。） 2024年2月7日 参考^DoDo-Code: a Deep Levenshtein Distance Embedding-based Code for IDS Channel and DNA Storage https://arxiv.org/abs/2312.12717^Unrestricted Error-Type Codebook Generation for Error Correction Code in DNA Storage Inspired by NLP https://arxiv.org/abs/2401.15915^Random access in large-scale DNA data storage https://www.nature.com/articles/nbt.4079^“Constrained string editing http://dx.doi.org/10.1016/0020-0255(86)90061-7^, A Dynamic Edit Distance Table http://dx.doi.org/10.1007/3-540-45123-4_7^“Lazy dynamic-programming can be eager https://www.sciencedirect.com/science/article/pii/0020019092902027^我的github https://github.com/ylu1997/Code_Generation_For_DNA_Storage |
|
想到了两个比较一般的idea，一个跟21年一篇ICCV撞了，一个跟18年一篇CVPR撞了。 半个月前进的组，自己偏好做纯蒸馏方向，虽然导师说这个方向已经好几年了，难出成果，但我觉得无所谓，用当作爱好的心态来研究就好。 先是几周前想到了一个自蒸馏自适应调整hard loss和soft loss平衡系数的小改进，motivation是自蒸馏训练前期模型精度不高，自蒸馏的标签噪声大会影响学习。然后做了一些实验，效果却比较一般，可能这个平衡系数确实不重要，怀疑是自蒸馏前期精度不高引进的噪声反而起到了不错的正则化效果。然而几天前发现了《Self-Knowledge Distillation with Progressive Refinement of Targets》这篇文章，他们用的是线性增长schedule，很简洁，比我想的方法简洁。据论文说效果意外的好，不过我还没复现过hh 第二个idea是前几天半夜睡觉，躺床上突发奇想想到的，有点兴奋，想了蛮久，导致我半夜3点才睡着。是将GAN的对抗学习引入到蒸馏中，用一个discriminator来辨别输入的logits来自教师还是学生，来与学生对抗学习。不过现在想想这个idea也很容易被想到，毕竟是两个大家熟知的东西结合。好在还没开始搭网络，就搜到了这篇《Training Shallow and Thin Networks for Acceleration via Knowledge Distillation with Conditional Adversarial Networks》，还没细看，不过也给我的热情浇了一盆水qaq。思想一致，对discriminator的构思也一致。作者是引用量过万的大佬，Zheng Xu，代表作《Visualizing the loss landscape of neural nets》，我还拜读过呢，随又感到很幸运，能跟大佬产生跨越时空的思想碰撞hh 收拾行囊，继续出发... |
|
做跨模态生成的人应该有挺多和OpenAI DALLE撞车的。 Taming transformer (VQGAN)发表的时候感觉很惊艳，于是就想用这个视觉框架扩展一个文本到图像生成的多模态模型（idea很简洁，和DALLE基本一模一样），在COCO这个数据集上搞了很久没超过sota GAN，后来发现OpenAI用了些trick（生成一百张取最好的）和大训练数据把性能刷上去发了。我当时gpu资源比较少搞不过，那个工作感觉发不出就弃坑了。 当时还看到清华同期的CogView作者在知乎上吐槽，不过他们还是搞了些贡献发了NeruaIPS，很厉害。 |
|
正在做的被撞了不算太遭，做完了发现被撞才是真的闹心。我们组的工作已经经历过数次这种情况了。 |
|
牛顿莱布尼茨公式 |
|
能撞的话是好事，继续往下想就能发paper了。我在brainstorming的时候一般想5个撞4个，但没撞的那个不一定会去做，而是去看撞了的那几个他们是怎么做的。 |
|
不慌，我用eclipse，买不起idea。 |
|
这种感觉。。 我之前确定课题的时候，在sci-hub这类网站上换了若干种可能的关键字及组合，都没找到相同的想法及实验。当时我还很奇怪，这个课题应该很简单的不可能没人想到，不过后来就按照我的想法设计实验做开题报告了。 直到后来某天，我刷一个大佬的paper，翻出了他十年前的一篇文章，一看题目就知道不妙…然后用半个小时阅读完了全文。不要问我为什么我用半个小时就能读完一篇paper，因为从理论假设到实验设计跟我的一个分实验撞的一模一样！！！我再一看关键词，这些关键词我之前搜过很多次啊！不知道为什么没有搜出来………第一个实验算是废了，不过还好后面的没有这么撞的………… 不过啊，后来的后来，我去这个大佬实验室实习了哎嘿嘿 |
|
作为同期工作没有什么问题，但万一大佬中了自己没中就变非同期工作了。即使自己提前挂了arxiv，审稿过程中也可能被要求和大佬工作对比，反正不太妙 |
|
。。真的崩溃，前段时间我在构思一个佛系岛屿的灵感，可以钓钓鱼养养动物种种菜，时间和现实相关联，没有任何进度条。希望大家能够在繁忙之中到岛上来佛系钓鱼和养殖，从而缓解当代青年的焦虑情绪。 后来，动物森友会火了。。我不想再说下去了，说的越多越难受，555555555。 |
|
从11年开始在fpga上做CGRA的虚拟层，提高fpga上领域专用加速器设计效率，然而，从12年投稿到差不多16年，一路被拒，最后录了个小破会，惨淡毕业。FPGA大佬们一直说cgra是个淘汰的东西，没什么用，各种怼。hls那么如日中天的nb，实验中部分基准程序kernel上CGRA性能能超过hls结果，也被批评说你不会hls，优化的不够。 后面大佬做了开源CGRA，各路体系结构大佬顶会开始搞混合粒度CGRA，花样CGRA，systolic array 模版和生成器，成为一类DSA设计的标杆。 我这可能还不如撞车，声音太小，没得办法。 |
|
读paper时不时会有idea，一搜arXiv已经有文章了>_< 说个CV领域的吧，用DL做图像生成的时候，总觉得图片只学到了皮毛没有骨相，缺少了灵魂。实际绘画例如人体的时候，是需要先画骨骼再画肌肉，然后再画衣服再上色的。我就思考怎么把这些隐性特征加入到模型里，结果呵呵classifier guidance早已被open AI大佬发论文了，还beat GANS！！ 这是生不逢时么┭┮﹏┭┮，我即使有idea也没有资源没有卡啊，我即使能发paper也不一定有那么强的轰动效应啊，我还要继续读别人的paper继续idea么，死循环呐。。 |
|
|
| [收藏本文] 【下载本文】 |
| 上一篇文章 下一篇文章 查看所有文章 |
|
|
|
| 股票涨跌实时统计 涨停板选股 分时图选股 跌停板选股 K线图选股 成交量选股 均线选股 趋势线选股 筹码理论 波浪理论 缠论 MACD指标 KDJ指标 BOLL指标 RSI指标 炒股基础知识 炒股故事 |
| 网站联系: qq:121756557 email:121756557@qq.com 天天财汇 |