| |
|
|
| 首页 淘股吧 股票涨跌实时统计 涨停板选股 股票入门 股票书籍 股票问答 分时图选股 跌停板选股 K线图选股 成交量选股 [平安银行] |
| 股市论谈 均线选股 趋势线选股 筹码理论 波浪理论 缠论 MACD指标 KDJ指标 BOLL指标 RSI指标 炒股基础知识 炒股故事 |
| 商业财经 科技知识 汽车百科 工程技术 自然科学 家居生活 设计艺术 财经视频 游戏-- |
| 天天财汇 -> 科技知识 -> OpenAI 全新发布文生视频模型 Sora，功能有多强大？将带来哪些影响？ -> 正文阅读 |
|
|
[科技知识]OpenAI 全新发布文生视频模型 Sora，功能有多强大？将带来哪些影响？ |
| [收藏本文] 【下载本文】 |
|
现在是2点22分，跟朋友们打完LOL手游，准备倒头就睡。 临睡前，刷了一眼X。 然后，特么的，看到了一个消息，能给我震惊成傻逼的消息： [图片] Op… |
|
卷疯了卷疯了，短短十几小时内，OpenAI和谷歌接连发布核弹级成果。 国内还没睡的人们，经历了过山车般的疯狂一晚。 就在刚刚，OpenAI突然发布首款文生视频模型——Sora。简单来说就是，AI视频要变天了！ 它不仅能够根据文字指令创造出既逼真又充满想象力的场景，而且生成长达1分钟的超长视频，还是一镜到底那种。 Runway Gen 2、Pika等AI视频工具，都还在突破几秒内的连贯性，而OpenAI，已经达到了史诗级的纪录。 60秒的一镜到底，视频中的女主角、背景人物，都达到了惊人的一致性，各种镜头随意切换，人物都是保持了神一般的稳定性。 Prompt: A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about. OpenAI究竟是怎么做到的？根据官网介绍，「通过一次性为模型提供多帧的预测，我们解决了一个具有挑战性的问题。」 显然，这个王炸级技术有着革命般的意义，连Sam Altman都沉迷到不能自拔！ 他不仅疯狂发推安利，而且还亲自下场为网友生成视频：你们随意来prompt，我一一输出。 |
|
|
一位戴着尖顶帽，身披绣有白色星星的蓝色长袍的巫师正在施法，他的一只手射出闪电，另一只手中拿着一本旧书。 |
|
|
在一间拥有电影级灯光设置的充满托斯卡纳乡村风情的厨房里，一位擅长利用社交媒体的奶奶，正在教你制作美味的自制诺奇面。 |
|
|
我们将带你进行一次未来城市的街头巡览，在这里，高科技与自然和谐共处，展现出一种独特的赛博朋克风格。 这座城市洁净无瑕，到处可见的是先进的未来式有轨电车、绚丽的喷泉、巨型的全息投影以及四处巡逻的机器人。 想象一下，一个来自未来的人类导游正带领一群好奇的外星访客，向他们展示人类极致创造力的结晶——这座无与伦比、充满魅力的未来城市。 多项技术破纪录 借助于对语言的深刻理解，Sora能够准确地理解用户指令中所表达的需求，把握这些元素在现实世界中的表现形式。 也因此，Sora创造出的角色，能够表达丰富的情感！ 它所制作出的复杂场景，不仅可以包括多个角色，还有特定的动作类型，以及对对象和背景的精确细节描绘。 看，下图中人物的瞳孔、睫毛、皮肤纹理，都逼真到看不出一丝破绽，完全没有AI味儿。 从此，视频和现实究竟还有什么差别？！ |
|
|
Prompt: Extreme close up of a 24 year old woman’s eye blinking, standing in Marrakech during magic hour, cinematic film shot in 70mm, depth of field, vivid colors, cinematic 此外，Sora还能在同一视频中设计出多个镜头，同时保持角色和视觉风格的一致性。 要知道，以前的AI视频，都单镜头生成的。 而这次OpenAI能在多角度的镜头切换中，就能实现对象的一致性，这不得不说是个奇迹！ 这种级别的多镜头一致性，是Gen 2和Pika都完全无法企及的…… |
|
|
Prompt: A movie trailer featuring the adventures of the 30 year old space man wearing a red wool knitted motorcycle helmet, blue sky, salt desert, cinematic style, shot on 35mm film, vivid colors. 举个例子：「雪后的东京熙熙攘攘。镜头穿过繁忙的街道，跟随着几位享受着美丽雪景和在附近摊位购物的人们。美丽的樱花瓣伴随着雪花在风中飘舞。」 Sora根据这个提示所呈现的，便是东京在冬日里梦幻的一幕。 无人机的镜头跟随一对悠闲散步的情侣穿梭在街道上，左侧是车辆在河岸路上行驶的声音，右侧是顾客在一排小店之间穿梭的景象。 |
|
|
Prompt: Beautiful, snowy Tokyo city is bustling. The camera moves through the bustling city street, following several people enjoying the beautiful snowy weather and shopping at nearby stalls. Gorgeous sakura petals are flying through the wind along with snowflakes. 可以说，Sora的效果已经领先到了恐怖的级别，完全跳出了用冷兵器短兵相接的时代，其他AI视频被彻底干趴。 世界模型成真了？？ 最最最可怕的一点来了，Sora身上，竟已经有了世界模型的雏形？ 通过观察大量数据，它竟然学会了许多关于世界的物理规律。 下面这个片段太令人印象深刻了：prompt中描绘了「一个短毛绒怪物跪在一支红蜡烛旁的动画场景」，同时描述了怪物的动作和视频的氛围。 随后，Sora就创造了一个类似皮克斯作品的生物，它似乎融合了Furby、Gremlin和《怪兽公司》中Sully的DNA。 让人震惊的是，Sora对于毛发纹理物理特性的理解，准确得令人惊掉下巴！ 想当初，在《怪兽公司》上映时，皮克斯为了创造出怪物在移动时超级复杂的毛发纹理，可是费了好大一番功夫，技术团队直接连肝几个月。 而这一点，Sora轻而易举地就实现了，而且从没有人教过它！ 「它学会了关于 3D 几何形状和一致性的知识，」项目的研究科学家Tim Brooks表示。 「这并非我们预先设定的——它完全是通过观察大量数据自然而然地学会的。」 |
|
|
Prompt: Animated scene features a close-up of a short fluffy monster kneeling beside a melting red candle. The art style is 3D and realistic, with a focus on lighting and texture. The mood of the painting is one of wonder and curiosity, as the monster gazes at the flame with wide eyes and open mouth. Its pose and expression convey a sense of innocence and playfulness, as if it is exploring the world around it for the first time. The use of warm colors and dramatic lighting further enhances the cozy atmosphere of the image. 得益于DALL·E 3所使用的扩散模型，以及GPT-4的Transformer引擎，Sora不仅能够生成满足特定要求的视频，而且能够展示出对电影拍摄语法的自发理解。 这种能力体现在它对讲故事的独特才能上。 例如，在一个以「色彩缤纷的鱼类和海洋生物充斥的，由纸艺精心构建的珊瑚礁世界」为主题的视频中，项目研究员Bill Peebles指出，Sora通过其摄影角度和拍摄时机，成功地推进了故事的发展。 「视频中实际上发生了多次镜头转换——这些镜头并非后期拼接而成，而是模型一气呵成地生成的，」他解释道。「我们并没有特别指令它这么做，它却能自动完成。」 |
|
|
Prompt: A gorgeously rendered papercraft world of a coral reef, rife with colorful fish and sea creatures. 不过，当前的模型并不完美。它在模拟复杂场景的物理效果上可能会遇到难题，有时也难以准确理解特定情境下的因果关系。比如，某人吃掉饼干的一部分后，饼干可能看起来仍然完整无损。 |
|
|
|
|
|
此外，模型在处理空间细节，如区分左右时可能会出错，也可能在描述随时间变化的事件，如特定的摄影机动作轨迹时，表现不够精确。 |
|
|
|
|
|
好在，它还并不完美。 否则，虚拟和现实的界限，还能区分得清吗？ |
|
|
这不是现实？ 但是无可否认的是，可怕的事实已经就在面前：一个已经能够理解和模拟现实世界的模型，也就意味着AGI已经不远了。 「唯一真正的视频生成工作」 业内大佬张启煊评价道，「Sora是我目前看到唯一跳脱出空镜头生成、真正的视频生成工作。」 在他看来，目前看来Sora跟Pika、Runway是有代差的，视频生成领域终于被OpenAI支配。或许某天3D视频领域，有朝一日也能体会到这种恐惧。 网友们都被震惊到失语：「下一个十年会是疯狂的十年。」 |
|
|
「都结束了，我的饭碗要丢了。」 |
|
|
「整个素材行业都会随着这篇成果的发布而消亡……」 |
|
|
OpenAI就是没法停下干死初创公司的脚步，是吗？ |
|
|
「好莱坞即将发生核爆」。 |
|
|
AI电影制作人和他们目前的项目。 |
|
|
技术介绍 Sora是一种扩散模型，它能够通过从一开始看似静态噪声的视频出发，经过多步骤的噪声去除过程，逐渐生成视频。 Sora不仅能够一次性生成完整的视频，还能延长已生成的视频。 通过让模型能够预见多帧内容，团队成功克服了确保视频中的主体即便暂时消失也能保持一致性的难题。 与GPT模型类似，Sora采用了Transformer架构，从而实现了卓越的性能扩展。 OpenAI把视频和图像分解为较小的数据单元——「patches」，每个「patches」相当于GPT中的一个「token」。 这种统一的数据表示方法能够在更广泛的视觉数据上训练扩散Transformer，覆盖了不同的持续时间、分辨率和纵横比。 Sora基于DALL·E和GPT模型的研究成果，采用了DALL·E 3的重标注技术，通过为视觉训练数据生成详细描述的标题，使模型更加准确地遵循用户的文本指令生成视频。 除了能根据文本指令生成视频外，这款模型还能将现有的静态图像转化成视频，精确细致地赋予图像中内容以生动的动画。模型还能扩展现有视频或补全缺失的帧。 Sora为理解和模拟现实世界的模型奠定了基础，对此OpenAI认为这是实现通用人工智能（AGI）的重要步骤。 作品欣赏 一列火车穿越东京郊区时，窗户上反射出的迷人景象。 |
|
|
Prompt: Reflections in the window of a train traveling through the Tokyo suburbs. 在雪地草原上，几只巨大的羊毛猛犸象缓缓前行，它们长长的毛皮在微风中轻轻飘扬。远处是雪覆盖的树木和雄伟的雪山，午后的阳光穿透薄云，给这个场景增添了一抹温暖的光彩。低角度的拍摄令这些庞大的毛茸茸动物显得尤为壮观，景深效果引人入胜。 |
|
|
Prompt: Several giant wooly mammoths approach treading through a snowy meadow, their long wooly fur lightly blows in the wind as they walk, snow covered trees and dramatic snow capped mountains in the distance, mid afternoon light with wispy clouds and a sun high in the distance creates a warm glow, the low camera view is stunning capturing the large furry mammal with beautiful photography, depth of field. 无人机从空中俯瞰大苏尔加雷角海滩附近的崎岖悬崖，海浪冲击着岩石，形成白色的浪尖，落日的金色光辉照亮了岩石海岸。远处有一个小岛上立着灯塔，悬崖边缘覆盖着绿色植被。从道路到海滩的陡峭下降和悬崖边缘凸出的景象，展现了海岸的原始美丽和太平洋海岸公路的崎岖风景。 |
|
|
Prompt: Drone view of waves crashing against the rugged cliffs along Big Sur’s garay point beach. The crashing blue waters create white-tipped waves, while the golden light of the setting sun illuminates the rocky shore. A small island with a lighthouse sits in the distance, and green shrubbery covers the cliff’s edge. The steep drop from the road down to the beach is a dramatic feat, with the cliff’s edges jutting out over the sea. This is a view that captures the raw beauty of the coast and the rugged landscape of the Pacific Coast Highway. 蓝色时刻下的圣托里尼岛航拍视图，展现了白色基克拉迪建筑和蓝色圆顶的绝美建筑。火山口的景色令人叹为观止，灯光营造出一种美丽而宁静的氛围。 |
|
|
Prompt: Aerial view of Santorini during the blue hour, showcasing the stunning architecture of white Cycladic buildings with blue domes. The caldera views are breathtaking, and the lighting creates a beautiful, serene atmosphere. 一位20多岁的年轻人坐在天空中的一朵云上，沉浸在书本中。 |
|
|
Prompt: A young man at his 20s is sitting on a piece of cloud in the sky, reading a book. 一群活泼的金毛寻回犬小狗在银白色的雪地上嬉戏，它们好奇的小脑袋时而从雪地中探出，被雪花点缀，萌态十足。 |
|
|
Prompt: A litter of golden retriever puppies playing in the snow. Their heads pop out of the snow, covered in. 在意大利布拉诺一排排鲜艳的彩色建筑中，一只可爱的斑点狗正通过窗户好奇地望向外面。与此同时，街道上人来人往，有的步行，有的骑行。 |
|
|
Prompt: The camera directly faces colorful buildings in burano italy. An adorable dalmation looks through a window on a building on the ground floor. Many people are walking and cycling along the canal streets in front of the buildings. 一幅充满工人、设备和重型机械的建筑工地的移轴摄影。 |
|
|
Prompt: Tiltshift of a construction site filled with workers, equipment, and heavy machinery. 在一个培养皿中，生长着一片竹林，其中小熊猫们在欢快地奔跑。 |
|
|
Prompt: A petri dish with a bamboo forest growing within it that has tiny red pandas running around. 一只卡通袋鼠正在迪斯科舞池中跳舞。 |
|
|
Prompt: A cartoon kangaroo disco dances. 在一杯咖啡中，两艘海盗船展开了激烈的战斗，超写实的近景视频。 |
|
|
Prompt: Photorealistic closeup video of two pirate ships battling each other as they sail inside a cup of coffee. 大佬猜测：游戏引擎加持？ Pytorch联合创始人Soumith Chintala猜测道，「根据Sam Altman发布的所有用户请求视频，Sora似乎是由游戏引擎提供支持，并为游戏引擎生成作品和参数」。 |
|
|
英伟达高级科学家Jim Fan对全新Sora模型，发表了一些自己的观点： Sora是一个数据驱动的物理引擎。它是对许多世界的模拟，无论是真实的，还是虚构的。该模拟器通过去噪和梯度学习方式，学习了复杂的渲染、「直观的」物理、长期推理和语义理解。 如果Sora使用虚幻引擎5接受过大量合成数据的训练，我不会感到惊讶的。必须如此！ |
|
|
同样，爱丁堡大学的博士生Yao Fu表示，「生成式模型学习生成数据的算法，而不是记住数据本身。就像语言模型编码生成语言的算法（在你的大脑中）一样，视频模型编码生成视频流的物理引擎。语言模型可以视为近似人脑，而视频模型近似物理世界」。 |
|
|
重塑视频行业 虽然，文本转视频技术要威胁到传统电影制作，可能还需要很长时间—— 你无法通过简单地将120个Sora生成的一分钟视频拼接起来制作出连贯的电影，因为这些模型无法确保内容的连续性。 |
|
|
但是，这并不妨碍Sora和类似的程序彻底改变TikTok等社交平台。 「制作一部专业电影需要大量的昂贵设备。」Peebles 说，「这个模型将让普通人在社交媒体上制作出高质量的视频内容成为可能。」 |
|
投资人圈子里今天流传一个段子：今天终于可以睡个好觉了，因为再也不用担心哪天我投资的那些视频生成公司被别人超过了。 上个月接受甲子光年采访 AI 一天，人间一年：我与 AI 的 2023｜甲子光年 的时候，我预测了 2024 年的四大趋势，第一条就是视频生成，没想到这么快就成真了。（当然，目前 Sora 生成的视频包含的语义还并不复杂，而且也做不到实时生成，所以大家还有机会） 多模态大模型能够实时理解视频，实时生成包含复杂语义的视频；开源大模型达到GPT-4 水平；GPT-3.5 水平开源模型的推理成本降到 GPT-3.5 API 的百分之一，让应用在集成大模型的时候不用担心成本问题；高端手机支持本地大模型和自动 App 操控，每个人的生活都离不开大模型。视频生成模型是世界模拟器 OpenAI 的技术报告标题也很有深意：视频生成模型是世界模拟器。 技术报告的最后一句话我觉得写得也很好：我们相信，Sora 如今所展现出的能力表明，持续扩展视频模型是一条通往强大模拟器的希望之路，可以模拟物理世界、数字世界以及生活在这些世界中的对象、动物和人。 其实 OpenAI 早在 2016 年，就明确提出生成模型是让计算机理解世界最有潜力的方向。还专门引用了物理学家费曼的一句话：What I cannot create, I do not understand.（我不能创作出来的，我就没有理解） 去年底听了一个 panel，好几个大佬讨论大模型到底需不需要是世界模型，竟然有几位大佬认为大模型不需要对世界的理解也能做好生成。所以我感觉国内大模型差距最大的是 vision 或者说 research taste，什么东西能做，什么东西不能做，什么技术路径靠谱，什么技术路径不靠谱，很多人的 research taste 真的跟 OpenAI 有很大差距。他们喜欢四处搜集一些 OpenAI 的小道消息，说，GPT-4 估计用了这些 trick，我们照着做就能少走些弯路。这就像是清末的 “师夷长技以制夷”，还停留在 “器物” 的阶段。 2018 年，我博士毕业找工作的时候，也面试了好几家自动驾驶公司。当了解到当时的自动驾驶技术是用几万个 if-else 之后，就对这条技术路线是否能达到 L4 自动驾驶产生了深深的怀疑。我当时就说，比如路上有一个掉落的东西，是可以压过去还是要绕路或者刹车，必须有个世界模型，了解各种物体的性质，才可能以足够高的概率做对。可惜，2018 年并没有多少人认为世界模型是可能的，也没有多少人认为世界模型是必要的。 有些人看到这次 Sora 下面这个 4 秒钟的视频，就觉得好像 RunwayML 的 Gen2 也能做到类似质量的视频呀。但其实看看 OpenAI Sora 发布页面上其他视频细节中所体现的一致性和物理规律遵循程度，就能发现 Sora 的能力明显超过了现有的所有视频生成模型。 OpenAI Sora 发布页面上的众多惊艳视频可能大家都看过。技术报告很多人就不会翻到最后一章了，但我觉得最后一章的 “仿真能力涌现” 才是 Sora 的精华。 模拟虚拟世界 我认为最能体现 Sora 实力的其实是技术报告里的倒数第二组视频，就是给定一个文本 prompt 就能生成 Minecraft 游戏的视频。如果它不是简单把训练数据里面的 Minecraft 视频稍微改了改输出的话，那就说明 Sora 真的理解了 Minecraft 游戏，而且理解了游戏物理引擎里面包含的物理规律和世界常识。 Sora 技术报告里面的最后一组视频是一个失败的例子。打破杯子的时候水的流动明显不符合物理规律。技术报告认为这是 Sora 主要的局限性。这也再次说明 Sora 最关心的是模型对世界的仿真是否准确。 “仿真能力涌现” 一章中除了仿真虚拟世界以外，还讲了三个重要特性： 3D 一致性 Sora 能够生成具有动态摄像机运动的视频。随着摄像机的移动和旋转，人物和场景元素在三维空间中一致地移动。 远程连贯性和物体常在性 对于视频生成系统来说，一个重大挑战一直是在采样长视频时保持时间上的一致性。我们发现 Sora 通常能够（尽管不总是）有效模拟短期和长期的依赖关系。例如，我们的模型即使在人物、动物和物体被遮挡或离开画面时，也能持续地呈现它们。同样，它可以在单个样本中生成同一个角色的多个镜头，贯穿整个视频保持他们的外观。 与世界互动 Sora 有时能够以简单的方式模拟影响世界状态的行为。例如，画家可以在画布上留下随时间持续的新笔触。 Sora 是一个数据驱动的物理引擎 我很久之前就说，视频生成可以用现实视频加上游戏视频来训练，关键是理解物理引擎中的世界模型。就像自动驾驶的很多 corner case 都是在类似游戏的仿真器里面模拟的。很多人对这种 Sim2Real 的方法不认同，认为游戏里面的场景跟真实世界不一样，游戏视频是垃圾数据，肯定不如仅使用现实世界的视频训练出来的效果更好。我认为视频生成的关键不在于模型贴图是否精细，而在于是否理解物理规律和各种物体的性质。 NVIDIA 研究科学家 Jim Fan 跟我的观点一致。他在 Twitter 上说： 如果你以为 OpenAI Sora 只是一个像 DALLE 这样的创意玩具，...那你就得重新认识它了。Sora 是一个数据驱动的物理引擎。它模拟了许多真实或幻想的世界。这个模拟器通过一些去噪技术和梯度数学学会了复杂的渲染、"直观"的物理学、长视角推理和语义理解。 如果说 Sora 是用使用了 Unreal Engine 5 的大量合成数据进行训练，我一点也不奇怪。它必须这么做！ 让我们解析以下视频。文本 prompt：“一个杯子里两艘海盗船战斗的逼真近距离视频。” 模拟器实例化了两个精致的 3D 场景：装饰各异的海盗船。Sora 必须在其潜在空间中隐式解决文本到 3D 的问题。这些 3D 对象在航行时能够一致地进行动画处理，避开彼此的路径。咖啡的流体动力学，甚至是围绕船只形成的泡沫。流体模拟是计算机图形学的一个完整子领域，传统上需要非常复杂的算法和方程式。几乎可以与光线追踪渲染的逼真效果媲美。模拟器考虑到杯子的小尺寸与海洋相比，运用倾斜移轴摄影技术给人一种 “微观” 的感觉。场景的语义在现实世界中并不存在，但是引擎仍然实现了我们期望的正确物理规则。 接下来：添加更多模态和条件，然后我们有了一个完整的数据驱动的 UE（Unreal Engine），它将替代所有手工制作的图形管线。 后来，Jim Fan 又补充道： 显然，有些人不太理解 “数据驱动的物理引擎” 是什么，所以让我来澄清一下。Sora 是一个端到端的、扩散变换模型。它输入文本/图像，直接输出视频像素。Sora 通过梯度下降法在神经网络参数中隐式学习物理引擎，这一切都是通过大量视频数据实现的。 Sora 是一个可学习的模拟器，或者说是 “世界模型”。当然，它在循环中并没有显式调用UE5，但很可能向训练集中添加了 UE5 生成的（文本，视频）对作为合成数据。 详细技术分析 关于 Sora 更多的技术分析，可以看我们 co-founder @SIY.Z 的回答：如何看待openai最新发布的sora？ Sora 的成本与 OpenAI 的 7 万亿美金豪赌 我发现很少有人提到 Sora 视频生成的成本。我初步估计，用 Sora 生成 1 分钟的视频估计需要几十美金的成本，比 Runway ML 的 Gen2（大约一分钟 10 美金）还贵。 很多人会选择性的忽略成本。比如 GPT-4 支持 128K 上下文的时候，很少有人提到用一次 128K 上下文需要 1.28 美金。今天 Gemini 1.5 说支持 10M 上下文了，我们还不知道这 10M 上下文的成本是多少。视频生成如果成本高达一分钟几十美金，就只能受限于专业的影片和游戏制作人，没法用来生成抖音短视频。 这就是为什么 OpenAI 要搞 7 万亿美金来造芯片。很多人觉得 Sam Altman 疯了，但我觉得他看到了 AI 真正的瓶颈——算力。 现在 AI 训练和推理大部分的成本还是在 GPU 上。很多公司在训练 GPT-4 级别模型的时候都遇到了 GPU 荒，更不用说搞 AGI 了。熟悉芯片制造的同学不难算出，A100/H100 这些芯片的售价是台积电流片成本价的 10 倍左右。这么高的溢价一方面来自芯片和软件生态的巨大研发成本，一方面来自垄断溢价。 曾几何时，FPGA 也是非常贵的东西。微软要在数据中心的每台服务器上部署 FPGA 的时候，给 Altera 下了几十万甚至上百万片的订单，直接把那款 FPGA 的批量订购价压到了零售价的十分之一。后来，连 Altera 公司本身都高价被 Intel 收购了。我们就有一个说法，芯片的产量只要足够大，芯片本身就是沙子的价格。 我 7 年前也租了个地下室，自己攒了几十台各种矿机来挖矿。挖矿成本的大头是电费，而不是 ASIC 或者 GPU 的成本。我在去年 5 月的一次采访中就表示，算力是制约 AI 的关键，现在所有的数据中心占据到人类能源的消耗已经在 1%~2% 左右，人类的能源目前还没有很明显的突破，所以说，目前能源和芯片技术所制约的算力能不能支撑得起这么大的一个需求，是一个很挑战的问题。 现在 AI 算力占用的能源只是数据中心的一小部分。如果 AI 算力占用的能源占到人类能源消耗的 10%，那么可能有需要 100 倍于当前能源消耗的 AI 芯片，这个需求远远超过了台积电等所有芯片厂商的制造能力。 那么有人要问，搞 7 万亿美金造芯片，练出来的 AI 能创造出 7 万美金的价值吗？如果觉得 AI 只是创造了下一个移动互联网，那就格局小了。 AGI 真正的价值在于创造新的生命形式，创造将能源转化成智能更高效的方式。 目前，人类大脑以不到 30W 的功率，达到的智能程度超过 10 千瓦的 8 卡 H100 推理服务器。但我相信，随着大模型和芯片技术的进步，硅基生命的能源利用效率一定会比碳基生命更高。在能源有限的这个宇宙中，AGI 不仅可能更高效地利用能源，以信息的形式更方便地把智能传播到整个宇宙，还可能为我们找到彻底解决能源问题的钥匙。为了创造硅基生命，AGI 一定需要是个世界模型，能够与真实世界交互，在自主学习中不断增强智能。 Sora 这个熟悉的名字 看到 Sora 这个名字，感觉好熟悉，MSRA 的软件无线电项目也叫 Sora，Sora 在日语里是 “天空” 的意思。当时这个项目有个机器翻译的中文版网页，还把 Sora 给翻译成了 “苍井空”。 |
|
|
MSRA 的 Sora 软件无线电项目 MSRA 的 12 楼就有个 Sora Lab，里面是各种软件无线电的实验设备。做无线的师兄叮嘱我们，进 Sora Lab 的时候千万不要乱动桌上的天线，要是弄乱了，要重新调好这些天线少则几天，多则一周。有时候 Sora Lab 里面的空间不够大，还要临时借用 12 楼的大会议室来做软件无线电的实验，在 MSRA 呆过的同学们对这个大会议室应该都很熟悉。 |
|
|
在 MSRA 大会议室里调软件无线电 Sora Sora 是当时最先进的软件无线电平台，当时影响力也很大，很多高校和研究机构都在用 Sora 做软件无线电的研究。我的导师谭博还送过我一本他写的书《认知软件无线电系统——原理与实验》，就是讲 Sora 的。 希望 Sora 这个名字能够给我们带来一片广阔的天空，把文明的种子播撒到天空中每颗闪亮的星。 |
|
|
OpenAI没有发布GPT-5，反而进军了新的领域：文生视频。OpenAI新发布的文生视频模型Sora不仅像DALLE-3有很好的长文本理解能力，而且可以生成长达分钟级别的高质量视频，从官方示例上看，生成的视频效果确实惊艳。 从技术上看，Sora和DALLE-3一样都是采用扩散模型架构，即从一个随机噪音开始逐步去噪生成一个视频，这个一个比较成熟的技术方案。不过最近谷歌的几个视频生成工作如VideoPoet是采用基于Transformer的自回归方案。在文生图领域，扩散模型是主导，那么在视频生成领域自回归会不会更胜一筹，这个还有待未来的验证。 同时Sora的模型采用Transformer，像ViT一样将图像或者视频转成patchs（类似文本tokens）送入Transformer模型。采用Transformer的一个优势是有很好的scaling性能。我估计这里为了减少计算量，还可能会采用latent diffusion，类似Meta之前的DiT（不过要等Sora的论文出来才能得到验证）。 Sora还使用 DALL·E 3 的recaption技巧，即为视觉训练数据生成高度描述性的caption，这让Sora能够更忠实地遵循生成视频中用户的文本指令，而且会支持长文本，这个应该是OpenAI独有的优势。 此外，从OpenAI公布的细节看，Sora不单单支持文生视频，还支持图生视频，即用一张图片生成生成视频，准确地动画图像的内容并关注小细节。Sora还可以获取现有视频并对其进行扩展或填充缺失的帧。 更多细节还是等论文放出了再更新！ 最后，祝贺OpenAI，距离AGI又近了一步： Sora serves as a foundation for models that can understand and simulate the real world, a capability we believe will be an important milestone for achieving AGI. OpenAI亲自下场，视频生成这个赛道将越来越卷，估计对Runway和Pika等公司有比较大的冲击。未来AIGC说到底还是算力的PK！ 更新版回答： |
|
前言：openai sora这个工作不仅杀死了视频生成，对机器人的real2sim也有重要冲击，建议全体AI人都速速阅读。 2. 谷歌这几次真的是太惨了，只要一发布新东西，都要被狙击。 3. 初始翻译版本来源于kimi-Chat，我手动修改+图片和视频插入，以及加了我的一些阅读笔记。 4. Sora: Creating video from text 5. 技术报告原文：Video generation models as world simulators Video generation models as world simulators（视频生成模型作为世界模拟器） 我们探索了在视频数据上进行大规模训练的生成模型。具体来说，我们训练了文本条件扩散模型（text-conditional diffusion models），这些模型同时处理不同时长、分辨率和宽高比的视频和图像。我们利用了一个在视频和图像潜在代码的空间时间块（spacetime patches）上运作的变换器（transformer）架构。我们最大的模型Sora能够生成一分钟的高保真视频。我们的结果显示，扩展视频生成模型是构建物理世界通用模拟器的一个有前景的路径。 2024年2月15日。 技术报告重点 本技术报告关注（1）我们将所有类型的视觉数据转化为统一表示的方法，以实现生成模型的大规模训练，以及（2）对Sora能力和局限性的定性评估。本报告不包含模型和实现细节。 视频数据的生成建模 许多先前的工作使用各种方法研究了视频数据的生成建模，包括循环网络（recurrent networks）、生成对抗网络（generative adversarial networks）、自回归变换器（autoregressive transformers）和扩散模型（diffusion models）。这些工作通常集中在视觉数据的狭窄类别、较短的视频或固定大小的视频上。Sora是一个视觉数据的通用模型——它可以生成跨越不同时长、宽高比和分辨率的视频和图像，最长可达一分钟的高清视频。 将视觉数据转化为块（patch） 我们从大规模语言模型（LLM）中汲取灵感，这些模型通过在互联网规模的数据上训练获得通用能力。LLM范式的成功部分得益于使用令牌（tokens），这些令牌优雅地统一了文本的不同模态——代码、数学和各种自然语言。在这项工作中，我们考虑视觉数据的生成模型如何继承这些好处。与LLM拥有文本令牌不同，Sora拥有视觉块（visual patches）。块（patches）已经被证明是视觉数据模型的有效表示。我们发现，块是训练多样化视频和图像生成模型的高度可扩展和有效表示。 |
|
|
在较高的层次上，我们首先将视频压缩到较低维的潜在空间，将视频转换为补丁，然后将表示分解为时空补丁。视频压缩网络 我们训练了一个网络来降低视觉数据的维度。这个网络以原始视频为输入，输出一个在时间和空间上都被压缩的潜在表示。Sora在压缩的潜在空间上训练并生成视频。我们还训练了一个相应的解码器模型，将生成的潜在表示映射回像素空间。 [这个编码-解码结构还真的是历久弥新。] 空间时间潜在块（spacetime patches） 给定一个压缩的输入视频，我们提取一系列空间时间块，这些块作为变换器令牌（transformer tokens）。这个方案也适用于图像，因为图像只是单帧的视频。我们的基于“块”的表示使得Sora能够训练和生成不同分辨率、时长和宽高比的视频和图像。在推理时，我们可以通过在适当大小的网格中排列随机初始化的块来控制生成视频的大小。 扩展变换器用于视频生成 Sora是一个扩散模型（diffusion model），给定输入的噪声块（和像文本提示这样的条件信息），它被训练来预测原始的“干净”块。重要的是，Sora还是一个扩散变换器（diffusion transformer）。变换器在包括语言建模、计算机视觉和图像生成在内的多个领域展示了显著的扩展属性。在这项工作中，我们发现扩散变换器在视频模型上同样有效扩展。下面，我们展示了随着训练计算量的增加，视频样本质量的显著提高。 【论文引用的是一篇NIPS22的工作，不知道23年，有没有人做类似的diffusion transformer做视频生成。】 |
|
|
在这项工作中，我们发现扩散变压器也可以有效地缩放为视频模型。下面，我们展示了训练过程中具有固定种子和输入的视频样本的比较。随着训练计算的增加，样本质量显着提高。 可变时长、分辨率、宽高比 过去的图像和视频生成方法通常将视频调整大小、裁剪或修剪到标准尺寸——例如，256x256分辨率的4秒视频。我们发现，相反，在其原始尺寸上训练数据提供了几个好处。 采样灵活性 Sora可以采样宽屏1920x1080p视频、垂直1080x1920视频以及介于两者之间的所有内容。这让Sora能够直接为其原生宽高比的不同设备创建内容。它还让我们在生成全分辨率内容之前快速原型化较小尺寸的内容——所有这些都使用同一个模型。 改进的构图和布局 我们实证发现，在原生宽高比上训练视频可以改善构图和取景。我们比较了Sora与我们的模型的一个版本，后者将所有训练视频裁剪为正方形，这是训练生成模型时的常见做法。在正方形裁剪（左）训练的模型有时会产生主题只部分可见的视频。相比之下，Sora（右）的视频有更好的构图。 语言理解 训练文本到视频生成系统需要大量带有对应文本标题的视频。我们应用了在DALL·E 3中引入的重新标题技术（re-captioning technique）到视频上。我们首先训练一个高度描述性的标题生成模型，然后使用它为我们训练集中的所有视频生成文本标题。我们发现，基于高度描述性视频标题的训练提高了文本保真度以及视频的整体质量。 使用图像和视频提示 所有上述结果以及我们主页上的结果都显示了文本到视频的样本。但Sora也可以通过其他输入，如预先存在的图像或视频，来进行提示。这种能力使得Sora能够执行广泛的图像和视频编辑任务——创建完美循环的视频、为静态图像添加动画、向前或向后扩展视频等。 动画DALL·E图像 Sora能够根据图像和提示生成视频。下面我们展示了基于DALL·E 2和DALL·E 3图像生成的视频示例。 |
|
|
输入图片+一只戴着贝雷帽和黑色高领毛衣的柴犬。 |
|
|
输入图片+写有“SORA”的现实云的图像。 |
|
|
输入图片+在一座华丽的历史大厅里，巨大的浪潮达到顶峰并开始崩塌。两名冲浪者抓住时机，熟练地驾驭海浪。 扩展生成的视频 Sora还能够扩展视频，无论是向前还是向后。以下是四个视频，它们都是从生成视频的一个片段开始向后扩展的。结果，每个视频都从不同的起点开始，但所有四个视频都导向同一个终点。我们可以使用这种方法向前和向后扩展视频，产生无缝的无限循环。 这个效果得去官网交互去看，才好玩。 视频到视频编辑 扩散模型已经实现了从文本提示编辑图像和视频的多种方法。下面我们应用了其中一种方法，SDEdit，到Sora。这种技术使得Sora能够零样本（zero-shot）地转换输入视频的风格和环境。 一个视频输入+一个提示词修改。 剪辑师都麻了，甲方狂喜。 连接视频 我们还可以使用Sora逐渐插值两个输入视频，创建两个完全不同主题和场景构图视频之间的无缝过渡。在下面的示例中，中心的视频在左右对应的视频之间插值。 这个视频太多了，不传了，大家去官网看吧。总之有点炸裂了。图像生成能力 Sora也能够生成图像。我们通过在空间网格中排列高斯噪声块，并具有一帧的时间范围来实现。模型可以生成不同大小的图像——最高可达2048x2048分辨率。 |
|
|
苹果树下一只小老虎的数字艺术，采用哑光绘画风格，细节华丽新兴的模拟（仿真）能力（Emerging simulation capabilities） 我们发现，当视频模型在大规模训练时表现出许多有趣的新兴能力。这些能力使得Sora能够模拟物理世界中的一些人、动物和环境的某些方面。这些属性在没有对3D、物体等的任何显式归纳偏差的情况下出现——它们纯粹是规模（scale）现象。 |
|
|
3D 一致性。 Sora 可以生成带有动态摄像机运动的视频。随着摄像机的移动和旋转，人和场景元素在三维空间中一致移动。 |
|
|
远程相干性和物体持久性。远程相干性和物体持久性。视频生成系统面临的一个重大挑战是在采样长视频时保持时间一致性。我们发现 Sora 通常（尽管并非总是）能够有效地对短期和长期依赖关系进行建模。例如，我们的模型可以保留人、动物和物体，即使它们被遮挡或离开框架。同样，它可以在单个样本中生成同一角色的多个镜头，并在整个视频中保持其外观。 |
|
|
与世界互动。SORA有时可以用简单的方式模拟影响世界状况的动作。例如，画家可以在画布上留下新的笔触，并随着时间的推移而持续存在，或者一个人可以吃汉堡并留下咬痕。 |
|
|
模拟数字世界。 Sora 还能够模拟人工过程——一个例子是视频游戏。 Sora 可以同时通过基本策略控制《我的世界》中的玩家，同时以高保真度渲染世界及其动态。这些能力可以通过用提及“我的世界”的标题提示，用Sora 零样本地生成视频。 这些功能表明，视频模型的持续扩展是开发物理和数字世界以及生活在其中的物体、动物和人的高性能模拟器的一条有前途的道路。 讨论 Sora目前作为仿真器存在许多局限性。例如，它不能准确地仿真许多基本交互的物理，如玻璃破碎。其他交互，如吃食物，并不总是产生正确的物体状态变化。我们在报告中列举了模型的其他常见失败模式——例如，长时间样本中发展出的不连贯性或物体的自发出现。我们相信，Sora今天所拥有的能力表明，继续扩展视频模型是开发物理和数字世界以及其中生活的对象、动物和人的有能力模拟器的一个有前景的路径。 |
|
|
玻璃没碎 |
|
|
参考文献: 略。 |
|
有多强大？ 我愿称为视频生成领域的iPhone moment 其生成视频的稳定性，流程性，连贯性，对于现实物理推断的合理性，动作幅度变形程度，远远完爆目前所有市面上开源闭源产品或解决方案。 而且sora能连续生成60秒长度的1080p视频，这可能是他最不重要的一个优点了。runway，pika，pixverse等各种ai视频初创公司可以直接倒闭关门了。 openai的保密工作做的太好了，前几天sam还声东击西，放出gpt5的小道消息，原来是搁着憋着大招呢。完全让你意识不到openai在视频生成领域作出这么颠覆式的成果 我觉得比去年ChatGPT推出时更加震撼。因为当时的官网blog还给出一些原理，大家顺着gpt3+rlhf alignment还能快速复现。而这回sora完全是领先现有解决方案一个时代的黑科技。可能目前市面上的各种ai视频还是在研究改进传统弓箭，最强的也就是现代复合弓，而openai直接开着航空母舰怼脸开大过来了，完全是对冷兵器时代的毁灭打击 将带来哪些影响 |
|
|
内容创作已经永远改变了。 这并不夸张。 我进入 YouTube 世界已经 15 年了，Open AI 刚刚展示的内容让我无语…… 即时想法/预测： - 动画师/3D 艺术家有麻烦了 - 素材网站将变得无关紧要 - 任何人都可以立即获得精彩的幕后花絮 - 零进入壁垒，实现令人难以置信的产值 - 在每个人都可以制作精美视频的世界中，内容背后的“想法”和故事变得更加重要 - 将会真正扰乱教育/视频论文/解释者的利基市场 可能以后绝大多数视频领域从业者都要失业了 最近整理了Sora全网资料提示词视频项目拆解，想要的可以私信加我 |
|
|
|
|
|
|
|
|
|
|
|
| [收藏本文] 【下载本文】 |
| 上一篇文章 下一篇文章 查看所有文章 |
|
|
|
| 股票涨跌实时统计 涨停板选股 分时图选股 跌停板选股 K线图选股 成交量选股 均线选股 趋势线选股 筹码理论 波浪理论 缠论 MACD指标 KDJ指标 BOLL指标 RSI指标 炒股基础知识 炒股故事 |
| 网站联系: qq:121756557 email:121756557@qq.com 天天财汇 |