AI新闻动态（2024-03-10到2024-03-16）

[ikaijua]

AI新闻动态（2024-03-10到2024-03-16）

目录

AI产品

• AI软件工程师Devin问世
• Midjourney发布图像生成新功能，可以让生成的图像保持角色一致
• Pika发布新功能Sound Effects，可以给视频无缝生成音效
• 零一万物发布了Yi大模型API开放平台，支持输入30万汉字

机器人

• Figure 发布第一个 OpenAI 大模型加持的机器人，能与人全面交流和互动
• 梅赛德斯-奔驰开始试点使用Apptronik人形机器人
• 谷歌DeepMind发布比RT-2更先进的机器人模型RT-H

AI研究

• 苹果公司研究团队发布大模型研究成果，300亿参数的多模态大模型MM1
• OpenAI开源了Transformer自动debug工具上线GitHub
• DeepMind发布智能体SIMA，可根据自然语言指令在各种视频游戏环境中执行任务

AI洞察

• Sora开发者团队的最新访谈
• OpenAI CEO Mira Murati接受华尔街日报采访，回答了Sora相关的问题
• OpenAI的Sora负责人Bill Peebles在加州大学伯克利分校Alberto课堂介绍Sora的视频
• 目前有一些线索表明GPT-4.5 Turbo可能于6月份推出
• Meta宣布投资建设两个拥有24,000个GPU的集群，用于支持各种AI工作负载，包括Llama 3的训练
• 英伟达CEO黄仁勋回到母校美国斯坦福大学，参加斯坦福商学院SIEPR经济峰会以及View From The Top 系列活动的访谈
• Lex Fridman对Meta的首席AI科学家图灵奖获得者杨立昆最新长篇3小时访谈
• 挪威央行投资管理机构CEO Nicolai对微软CEO 纳德拉的访谈

AI投资

• 苹果收购了一家专注于利用视觉技术监控制造组件的人工智能初创公司DarwinAI
• 阿联酋宣布成立一家专注于AI和半导体领域的科技投资公司MGX，MGX的资产管理规模在未来几年内可能超过1000亿美元

[ikaijua]

2024-03-10 ChatGPT每天的耗电量相当于1.7万个美国家庭的日耗电量，年电费约为2亿人民币

1. AI技术耗电量增长，谷歌搜索中应用AI技术，预计年耗电量高达290亿千瓦时。预计到2027年，AI数据中心的用电量将与荷兰或瑞典等国家的用电量相当。
2. ChatGPT的推理阶段耗电量远高于训练阶段，每天需要响应1.95亿次请求，每个请求约消耗2.9瓦时。
3. 尽管短期内AI用电量增速可能受到抑制，但长期来看，电力需求增长的趋势不容忽视。
4. 尽管ChatGPT的能耗数据惊人，但许多网友认为其创造的价值远超能耗，认为AI在节能减排方面具有潜力。
5. 清洁能源的重要性，Elon Musk强调，AI的未来依赖于清洁能源技术的突破，如可控核聚变，以支持AI技术的持续发展。

媒体文章：

• 量子位：ChatGPT每年电费2亿？！日耗电量≈1.7万个家庭，网友：挺值！

[ikaijua]

2024-03-10 Pika发布新功能Sound Effects，可以给视频无缝生成音效

1. 用户可以通过两种方式生成音效：给出一句描述想要的声音的提示，或者让Pika根据视频内容自动生成。
2. Pika声称生成的音效与视频高度匹配，效果很棒，并提供了多个demo供用户体验。
3. 用户可以在生成视频时同时添加音效，也可以在生成视频后单独为其配音。
4. 目前，Sound Effects功能只对超级合作者和Pro用户开放测试，但Pika表示将很快向所有用户推出该功能。
5. 该功能背后的原理尚未公开，但类似的配音功能已经有其他公司提出。
6. pika的访问地址：https://pika.art/home Sound Effects功能只有pro用户才可使用

pika.mp4

youtube视频：Pika Sound Effects UI Tour

媒体文章：

• 量子位：Pika放大招：今天起，视频和音效可以“一锅出”了！

[ikaijua]

2024-03-13 AI软件工程师Devin问世

1. Cognition AI团队开发了Devin，它能够解决真实世界软件问题，在 SWE-Bench 基础测试中，无需人类协助，Devin 就可以解决 13.86% 的问题。而目前的最厉害的大模型，在没有人类帮忙的情况下，只能完成 1.96% 的任务。
2. Devin具备常见开发工具，能够自动写代码、生成完整的程序并上线，还能执行复杂任务并学习修复错误。
3. Devin 现在还未对外开放，但已经有开发人员和产品人员用上了。测试过的网友表示，以前一直用人工智能辅助编码，但一直失败。直到昨天，他给 Devin 了一个简单的 HTML 页面，让它提取选择器，这个 GPT-4-turbo 、Claude、Groq 、LLama2 都没完成的任务，Devin 只用了大约 10 秒就搞定了。
4. Cognition AI团队将大型语言模型与强化学习技术结合，实现了在AI领域被称为“理解”的突破。
5. AI大牛Andrej Karpathy认为自动化软件工程的发展类似于自动化驾驶，人工智能做的越来越多，但人类仍然需要提供监督和解决问题。
6. Cognition AI团队由10人组成，其中三位创始人是Steven Hao、Scott Wu和Walden Yan，他们曾在编程竞赛中获得了多个国际比赛金牌。CEO Scott Wu和他的兄弟 Neal Wu 一起，自青少年时期就开始参加并经常获胜于国际编程比赛，Scott Wu曾连续三年揽获 IOI 金牌，这些比赛提升了他们的编程能力

Conginition AI官网博客：Introducing Devin, the first AI software engineer
youtube介绍视频：Introducing Devin, the first AI software engineer
排队申请地址：https://docs.google.com/forms/d/e/1FAIpQLScHG0Kuxf9rVLR2Ceamr9qq85YLxKPx8fxdQeBr5TwvYEsPUg/viewform?pli=1

社区讨论：

• Hacker News: Devin: AI Software Engineer

媒体文章：

• 机器之心：首个AI软件工程师上线！已通过公司面试抢程序员饭碗，华人创始团队手握10块IOI金牌
• 量子位：首个AI软件工程师震撼硅谷！手握10块IOI金牌，他们铁了心砸掉程序员饭碗

[ikaijua]

2024-03-14 Figure 发布第一个 OpenAI 大模型加持的机器人，能与人全面交流和互动

1. Figure 01的机器人在OpenAI大模型的加持下可以与人类全面对话，并执行各种命令，例如，当演示人员说“想吃东西”时，机器人递上了一个苹果。
2. 演示视频展示了机器人的描述视觉体验、规划未来的行动、反思自己的记忆、口头解释推理过程等功能。机器人可以描述周围环境、做出决策、将模糊的请求转化为适当的行为，并用简单的英语解释自己的操作。
3. 机器人通过将图像和语音输入到OpenAI训练的大型多模态模型中进行处理和回复，通过预训练模型分析对话历史记录。大模型使机器人具有多模态理解、逻辑推理和短期记忆的能力，机器人可以快速形成并执行计划，包括学到的低级双手操作。
4. Figure机器人操作高级AI工程师Corey Lynch介绍了此次Figure 01的技术原理，他们将机器人摄像头中的图像和机载麦克风捕获的语音文本转录输入到由 OpenAI训练的大型多模态模型中，该模型可以理解图像和文本。该模型对整个对话记录进行处理，包括过去的图像，从而获得文本响应，然后通过文本到语音的方式将其回复给人类。此外，该模型负责决定在机器人上运行哪些学习到的闭环行为以完成给定的命令，从而将特定的神经网络权重加载到GPU上并执行策略。
5. Figure公司与OpenAI的合作计划，旨在开发能够取代人类进行体力劳动的人形机器人。
6. Figure公司在最近一轮融资中筹集了6.75亿美元，并获得了微软、OpenAI、英伟达和亚马逊等投资方的支持。

演示视频youtube链接：Figure/Figure Status Update - OpenAI Speech-to-Speech Reasoning
Figure的推文：https://twitter.com/i/status/1767913661253984474
Figure的官网：https://www.figure.ai/
演示视频B站链接：赛文乔伊/机器人的AGI时刻，接入GPT的Figure 01号机诞生

媒体文章：

• 机器之心：OpenAI机器人，一出手就是王炸
• 量子位：OpenAI大模型上身机器人，原速演示炸场!

[ikaijua]

2024-03-15 苹果公司研究团队发布大模型研究成果，300亿参数的多模态大模型MM1

1. 研究论文中提到的多模态大模型MM1具有300亿参数，采用MoE架构，超半数作者是华人。
2. MM1在字幕和问答任务以及其他多模态基准上表现良好，比其他模型如Emu2、Flamingo、IDEFICS更好。在上下文预测、多图像和思维链推理等方面也具有出色的性能。
3. 由于训练大型 MLLM 会耗费大量资源，研究者采用了简化的消融设置。探讨了预训练图像编码器和视觉特征连接对模型性能的影响。他们发现图像分辨率对性能影响最大，其次是模型大小和训练数据组成。
4. 苹果近年来加大了对生成式人工智能的重视和投入，这次推出的MM1模型也是其加注生成式人工智能领域的决心的体现。

论文地址：https://arxiv.org/pdf/2403.09611.pdf

媒体文章：

• 机器之心：苹果大模型MM1杀入场：300亿参数、多模态、MoE架构，超半数作者是华人
• AppSo：苹果首次披露多模态大模型，AI大招什么时候上iPhone

[ikaijua]

2024-03-16 OpenAI CEO Mira Murati接受华尔街日报采访，回答了Sora相关的问题

1. Sora是OpenAI开发的能够根据文字提示生成超现实场景的AI模型。Sora的可使用人群有限，但在各媒体平台上广受关注。
2. Sora在生成视频的时候仍在一些问题，比如处理手部时仍存在困难，但正在进行优化。
3. Sora不会短期内对公众公开，需要更多改进和时间适应。
4. OpenAI计划在Sora中加入音频生成功能，进一步提升视频生成效果。
5. 采访中引发了关于Sora训练数据的争议，OpenAI的CTO没有明确回答使用了哪些数据，引发了人们的质疑和批评。
6. Murati提到AI 工具将扩展我们的知识和创造力、集体想象力、做任何事情的能力。在这个过程中，找到将 AI 融入日常生活的正确道路，也是极其困难的，但我认为这绝对值得一试。

youtube视频：OpenAI's Sora Made Me Crazy AI Videos—Then the CTO Answered (Most of) My Questions | WSJ OpenAI

媒体文章：

• 机器之心：Sora竟是用这些数据训练的？OpenAI CTO坦白惹众怒

[ikaijua]

2024-03-14 零一万物发布了Yi大模型API开放平台，支持输入30万汉字

1. Yi大模型API开放平台提供了多个模型。
2. Yi-34B-Chat-0205 支持通用聊天、问答、对话、写作、翻译等功能。
3. Yi-34B-Chat-200K：200K 上下文，多文档阅读理解、超长知识库构建小能手。
4. Yi-VL-Plus: 多模态模型，支持文本、视觉多模态输入，中文图表体验超过 GPT-4V。
5. 零一万物的大模型API与OpenAI API兼容，迁移成本低。
6. 零一万物为新用户免费赠送60元，并限量开放名额。

零一万物 API 开放平台链接：https://platform.lingyiwanwu.com/

媒体文章：

• 机器之心：零一万物API正式上线：支持输入30万汉字，看不懂《百年孤独》的人有救了

[ikaijua]

2024-03-12 Meta宣布投资建设两个拥有24,000个GPU的集群，用于支持各种AI工作负载，包括Llama 3的训练

1. Meta致力于开放计算和开源，他们在Grand Teton、OpenRack和PyTorch的基础上构建这些集群，并持续推动行业的开放创新。
2. 这些集群旨在为各种人工智能工作负载提供高吞吐量和高可靠性，Meta设计了高级别的网络架构，以支持每天数万亿次的AI模型执行。
3. 使用了自家设计的GPU硬件平台Grand Teton，并结合其他技术创新，构建了高性能和灵活性兼具的集群。
4. 存储方面，Meta采用了自家开发的分布式存储解决方案，并与Hammerspace合作开发了并行网络文件系统（NFS）。
5. Meta的AI集群通过优化和改进，实现了大规模集群的性能和易用性的最大化。
6. Meta对开放创新的承诺，他们积极支持开源硬件和软件，并在PyTorch和OCP等项目中发挥重要作用。 Meta还推出了开放创新AI研究社区，为学术研究人员提供合作机会。

Meta官方博客：Building Meta’s GenAI Infrastructure

媒体文章：

• 机器之心：专为训练Llama 3，Meta 4.9万张H100集群细节公布

[ikaijua]

2024-03-13 目前有一些线索表明GPT-4.5 Turbo可能于6月份推出

1. GPT-4.5 Turbo是OpenAI即将推出的模型，它被描述为速度最快、精度最高、可扩展性最强的模型。
2. GPT-4.5 Turbo相比于GPT-4 Turbo有更大的处理范围，上下文窗口指定为256,000个token，是GPT-4 Turbo的两倍。
3. OpenAI最强竞争对手Anthropic最近发布的Claude 3模型，该模型在某些领域表现出色，OpenAI可能希望通过推出GPT-4.5 Turbo来保持竞争优势。
4. 一份文件显示，加州大学欧文分校正在测试名为ZotGPT的聊天机器人，该机器人可以访问GPT-4.5。
   65GPT-4.5 Turbo的知识截止日期为2024年6月，这表明新的Turbo模型将在六月份发布。
5. 关于GPT-4.5 Turbo的泄露和传闻，展示了人们对这一模型的期待和猜测。然而，具体的发布日期和功能仍然是未知的，需要进一步等待确认。

zotgpt: https://www.oit.uci.edu/services/ai/zotgpt/#tabs|1

媒体文章：

• 机器之心：GPT-4.5 Turbo意外曝光，官方网页被扒出，网传明天就上线

[ikaijua]

2024-03-12 OpenAI开源了Transformer自动debug工具上线GitHub

1. 该工具支持对小体量语言模型特定行为进行检查
2. Transformer Debugger (TDB)将自动可解释性技术与稀疏自动编码器相结合
3. TDB可以快速探索模型结构，干预前向传递，帮助人们理解模型行为
4. 开源内容包括
   1. Neuron viewer：一个 React 应用程序，用于托管 TDB 以及包含有关各个模型组件（MLP 神经元、注意力头和两者的自动编码器 latents）信息的页面；
   2. Activation server：对主题模型进行推理，为 TDB 提供数据的后端服务器；
   3. Models：GPT-2 模型及其自动编码器的简单推理库，带有捕获激活的 hook；
   4. 和整理好的激活数据集：包含 MLP 神经元、注意力头和自动编码器 latents 的顶级激活数据集示例。
5. TDB仍处于早期阶段，OpenAI希望通过开源和社区改进工具

GitHub 链接：https://github.com/openai/transformer-debugger

媒体文章：

• 机器之心：OpenAI开源了：Transformer自动debug工具上线GitHub

[ikaijua]

2024-03-12 Midjourney发布图像生成新功能，可以让生成的图像保持角色一致

1. 这个功能适用于Midjourney V6、Niji6型号，使用方法简单，只需要在输入的prompt后面加上"--cref URL"，URL是参照角色图像的链接。
2. 角色参照功能可以使用--cw 参数调整参照的强度，范围为100到0，设置强度为0时，只会专注于参照脸部，适合给特定角色换装、换发型，设置强度为100是脸和衣服都参考。
3. 使用角色参照功能生成的图像会保留参考图像的脸部特征和行为，但精确度有限，无法复刻非常细节的特征。
4. 网友们对这个新功能表示了兴趣和好评，认为是Midjourney迄今为止的最大更新。
5. 还有网友爆料称在Midjourney工作时间里，有员工尝试抓取提示-图片对数据，导致系统崩溃，引起了一些讨论和猜测。

媒体文章：

• 量子位：Midjourney能让角色保持一致了！网友连夜实测：改变游戏规则

[ikaijua]

2024-03-14 苹果收购了一家专注于利用视觉技术监控制造组件的人工智能初创公司DarwinAI

1. 苹果收购了加拿大的人工智能初创公司DarwinAI，该公司专注于利用视觉技术监控制造过程中的组件，以提高效率。
2. 尽管苹果和DarwinAI尚未公布这项交易，但根据DarwinAI团队成员的LinkedIn资料显示，该初创公司的几位成员于今年1月份加入了苹果的机器学习团队。
3. DarwinAI在多轮融资中筹集了1500万美元的资金，投资者包括BDC Capital的Deep Tech Venture Fund、Honeywell Ventures、Obvious Ventures和Inovia Capital。BDC Capital证实其已从DarwinAI获得退出，而Obvious Ventures已更新其投资组合以反映该初创公司已被收购。
4. 除了帮助提高制造效率外，DarwinAI还使用技术使人工智能模型更小更快。这对于苹果计划在今年的iOS 18中推出的设备内生成式人工智能功能可能会很有用。
5. 相对于OpenAI、谷歌、Meta和微软等竞争对手，苹果在发布基于生成式人工智能的功能方面落后。苹果CEO蒂姆·库克在2月份表示，公司计划在今年晚些时候推出此类功能。
6. 苹果去年确认了对生成式人工智能项目的投资。苹果的招聘列表显示，该公司正在探索将人工智能应用于多个内部和外部领域，包括Siri、开发者工具和客户支持。

媒体文章：

• techcrunch: Apple acquires AI startup specializing in overseeing manufacturing components
• 彭博社：Apple Buys Canadian AI Startup as It Races to Add Features

[ikaijua]

2024-03-15 梅赛德斯-奔驰开始试点使用Apptronik人形机器人

1. 梅赛德斯-奔驰与Apptronik合作，开始试点使用人形机器人。
2. 这家总部位于奥斯汀的机器人初创公司表示，该合作将重点研究在梅赛德斯-奔驰制造过程中应用高级机器人技术的各种应用场景。具体的合作细节和系统数量没有透露。
3. 这种合作对双方来说都是双赢的。Apptronik可以展示与领先的汽车品牌合作的明确兴趣，而梅赛德斯-奔驰向客户和股东们传递了其对未来的关注。接下来的关键是合作的进展。如果试点成功，并导致汽车制造商大规模采购，那将是Apptronik及整个行业的巨大成功。
4. 近期，人形机器人引起了巨大的投资兴趣，例如Figure最近筹集了惊人的6.75亿美元。未来几年对于这些公司的持续成功至关重要，它们将努力证明具有实质性投资回报率的可行性。
5. 关于机器人在制造领域实际所做的工作，Apptronik的联合创始人兼首席执行官Jeff Cardenas在一份声明中提到，"梅赛德斯计划使用机器人和Apollo来自动化一些低技能、体力要求较高的体力劳动，这是一个典型的用例，我们将在未来几个月和几年中看到其他组织效仿"。

Apptronk.mp4

Apptronik人形机器人官网：https://apptronik.com/

媒体文章：

• techcrunch:Mercedes begins piloting Apptronik humanoid robots

[ikaijua]

2024-03-10 英伟达CEO黄仁勋回到母校美国斯坦福大学，参加斯坦福商学院SIEPR经济峰会以及View From The Top 系列活动的访谈

1. 黄仁勋认为AI技术缩小了人类的技术差距，未来10年算力将再提高100万倍。
2. AI对编程的影响：黄仁勋预测，随着生成式AI的发展，编程技术可能变得不那么有价值，因为AI将使得非程序员也能通过自然语言与计算机交互，从而“编程”出各种应用。
3. AGI的发展前景：黄仁勋强调，未来五年内，AGI（通用人工智能）将通过人类测试，如律师考试等专业测试，但AGI的实现可能还很遥远，因为对人类思维运作的描述仍存在分歧。
4. 英伟达的挑战：黄仁勋提到，英伟达面临的最大挑战来自技术和市场，同时也有来自工业、地缘政治和社会层面的挑战。
5. 地缘政治风险：英伟达作为AI工具的重要制造商，受到地缘政治风险的影响，黄仁勋认为AI将成为国家的“主权”，各国必须控制自己的数字智能。
6. 液冷技术的趋势：黄仁勋认为液冷技术将成为AI算力的下一个趋势性领域，预示着未来AI硬件的发展方向。
7. 个人风格与公司文化：黄仁勋谈到自己的个人风格，如对皮衣的偏好，以及他在公司中推崇的透明度和扁平化管理结构，强调CEO应该拥有最多的直接下属，以减少信息扭曲。

英伟达CEO黄仁勋 斯坦福SIEPR2024峰会访谈 youtube视频：Keynote by NVIDIA CEO Jensen Huang at 2024 SIEPR Economic Summit
英伟达CEO黄仁勋最新斯坦福商学院访谈 youtube视频：Jensen Huang, Founder and CEO of NVIDIA

对应B站视频：

• 【精校】NVidia CEO黄仁勋 斯坦福SIEPR2024峰会访谈 2024.3【中英】
• 精校】英伟达CEO黄仁勋最新斯坦福商学院访谈 2024.3.6【中英】

媒体文章：

• 钛媒体：黄仁勋最新2万字对话全文：AI 缩小了人类间的技术差距，未来10年算力将再提高100万倍｜钛媒体AGI

[ikaijua]

2024-03-10 Lex Fridman对Meta的首席AI科学家图灵奖获得者杨立昆最新长篇3小时访谈

1. Lecun和他的团队一直支持开源AI，分享了多个里程碑式的大模型，如Llama 2和即将推出的Llama 3。
2. LeCun批驳了关于AGI（通用人工智能）迫在眉睫的危言耸听，认为AGI最终会是人类的福音而非灾难。LeCun 认为AGI的到来不会是一个突然的事件，而是一个渐进的过程。他预测，未来十年将出现能够理解世界并进行规划的AI系统，但要达到人类水平的智能还需要更多的突破。
3. 大型语言模型（LLM）的局限性：LeCun指出，尽管LLM在语言处理上表现出色，但它们缺乏理解世界规律、逻辑推理等人类智能的关键要素。我们通过感官输入学到的信息比通过语言学到的要多，而LLM主要依赖于语言。
4. AI的未来方向：LeCun提出，未来的AI系统应基于完善的世界模型进行推理和规划，而非过度依赖自回归预测，以更接近人类的思维方式。
5. 开源模型的商业前景：Lecun认为开源模型即使免费供应，也能通过广告和企业服务获利，不必对商业前景过于悲观。认为开源是实现AI多样性和避免偏见的关键。
6. AI的社会影响和未来：LeCun反驳了AI末日论者的观点，认为他们的担忧基于错误的假设，而人类本质上是善良的。乐观看待AI的社会影响，AI能放大人类的善意，并将其普及与印刷术的发明相提并论，预示着重大的社会变革。LeCun展望了机器人在未来十年的发展前景，以及AI如何提升人类的智力水平，成为更聪明的AI助手。同时，他也提到了AI武器化的风险。

• youtube视频：Yann Lecun: Meta AI, Open Source, Limits of LLMs, AGI & the Future of AI | Lex Fridman Podcast
• B站中英文字幕视频：【精校】AI巨头杨立昆 Yann LeCun最新Lex长篇访谈3小时 2024.3

媒体文章：

• 机器之心：LeCun最新专访：为什么物理世界终将成为LLM的「死穴」？
• APPSO: Meta 首席科学家 Yann LeCun：AI 毁灭人类的概率为零 | 附万字长文

[ikaijua]

2024-03-11 谷歌DeepMind发布比RT-2更先进的机器人模型RT-H

1. RT-H能够将复杂任务分解为简单的语言指令，并将这些指令转化为机器人行动，提高任务执行的准确性和学习效率。
2. RT-H利用视觉语言模型（VLM）预测语言动作（如“向前移动手臂”和“向右旋转手臂”），然后根据这些语言动作预测机器人的具体行动。
3. RT-H在处理多样化的多任务数据集时表现显著改善，相比RT-2在一系列任务上的表现提高了15%。
4. RT-H的架构借鉴了RT-2，是一个端到端的框架，专注于学习行动层级，并通过分析观察结果和高层次任务描述来预测当前的语言动作指令。
5. RT-H的研究展示了具身智能在理解和执行复杂任务方面的潜力，尤其是在需要精确动作和适应性的场景中。
6. 随着大型语言模型如GPT-4与机器人研究的结合，具身智能领域的研究受到更多关注。

项目链接：https://rt-hierarchy.github.io/
论文链接：https://arxiv.org/pdf/2403.01823.pdf

媒体文章：

• 机器之心：谷歌具身智能新研究：比RT-2优秀的RT-H来了

[ikaijua]

2024-03-12 阿联酋宣布成立一家专注于AI和半导体领域的科技投资公司MGX，MGX的资产管理规模在未来几年内可能超过1000亿美元

1. MGX的创始合作伙伴包括阿联酋主权财富基金穆巴达拉投资公司（Mubadala）和阿联酋人工智能和云计算技术巨头G42。
2. 穆巴达拉拥有2760亿美元的资产，是阿联酋三大主权财富基金之一，2023年在全球前十大主权财富基金中排名第三。
3. G42是一家成立于2018年的人工智能公司，业务涵盖云计算、高级数据中心和专业人工智能应用，被称为“中东阿里+腾讯”。
4. MGX的投资策略将集中在三个主要领域：人工智能基础设施（包括数据中心和连接）、半导体（包括逻辑和存储芯片设计和制造）、人工智能核心技术和应用（包括人工智能模型、软件、数据、生命科学和机器人）。
5. MGX的首席执行官由穆巴达拉直接投资平台CEO艾哈迈德·叶海亚担任，董事长由阿联酋国家安全顾问Sheikh Tahnoon bin Zayed Al Nahyan担任，副董事长由穆巴达拉投资公司首席执行官Khaldoon Al Mubarak担任。
6. MGX的初期投资资金将由阿布扎比政府提供，这表明阿联酋政府对AI领域的高度重视和快速布局。

媒体文章：

• 财联社：中东土豪重仓AI！阿联酋成立AI投资公司 资管规模或超千亿美元
• 澎湃新闻：阿布扎比成立科技投资公司瞄准AI核心技术，“未来几年管理资产或超千亿美元”

[ikaijua]

2024-03-16 Sora开发者团队的最新访谈

OpenAI的Sora项目开发者的访谈，其中涉及了Sora的技术细节、优势、局限性以及未来展望。

1. Sora是OpenAI开发的视频生成模型。它能够通过分析大量视频数据来生成逼真的视频内容。
2. 技术原理与创新：Sora结合了基于扩散的模型和类似GPT的语言模型技术。它能够处理不同时长、宽高比和分辨率的视频，这是其创新之处。Sora通过将视频分解为小块（patches）进行训练，提高了模型的灵活性。
3. 优势与局限性：Sora在生成具有高度逼真感的视频方面表现出色，尤其是在处理光照、反射、细节和纹理方面。 它在处理手部细节和复杂的物理运动轨迹方面存在挑战。目前Sora生成的视频不包含声音，但团队正在考虑未来如何整合声音。
4. 应用前景与反馈： Sora有潜力降低电影和视频制作的门槛和成本。 它可以作为创意工具，帮助人们在视频制作前进行构思和可视化。开发团队正在积极收集用户反馈，以改进Sora并确保其安全、负责任地推向市场。
5. 未来展望：团队期待Sora能够推动全新的创意内容和体验的产生。他们认为AI工具的使用将演变为创造全新的内容类型。Sora和其他AI模型的发展可能会使AI更好地理解世界，并在未来提供更好的帮助。
6. 社会责任与安全：开发者强调了在发布这些技术时需要谨慎，以防止误导和传播错误信息。他们正在研究如何标识AI生成的视频，以便于人们识别其来源。

• youtube视频：Waveform Clips/Sora Developers Explain AI Video Generation
• “web3天空之城”的中英翻译B站视频：【精校】OpenAI Sora团队最新访谈· 完整版【中英】

[ikaijua]

2024-03-16 OpenAI的Sora负责人Bill Peebles在加州大学伯克利分校Alberto课堂介绍Sora的视频

1. Sora展示了在视频中保持3D一致性的能力，即使在不同的场景和角度下也能保持物体和环境的连贯性。
2. 项目团队对于Sora在长距离连贯性方面的表现感到兴奋，Sora能够将不同场景和动物拼接成一个连贯的叙述。
3. Sora能够在同一视频中保持角色的一致性，即使在多个场景中也能保持角色的连续性，例如一个赛博朋克环境中的机器人角色在多个场景中保持不变。
4. 在大规模计算和数据支持下，深度学习模型能够学习复杂现象而无需过多的指导性偏见。大型神经网络在有足够的计算资源和数据的情况下可以自由学习，这通常是一个成功的策略。
5. 通过使用更详细的提示，Sora能够生成与提示更加一致的高质量图像和视频。模型能够捕捉到场景中的结构元素，如相机位置、光线、纹理等。
6. Sora展示了零样本视频到视频编辑的能力，能够应用各种风格转换到输入视频上。Sora能够理解视频内容并根据用户的要求进行风格迁移，如将视频转换为中世纪主题或像素艺术风格。
7. 使用SD Edit等扩散模型图像编辑技术，Sora能够在两个不同风格的视频之间进行无缝过渡，无需手动关键点指定或其他编辑技术，如将视频场景变为太空或中世纪主题，同时保留结构元素。，。
8. Sora在创意方面的潜力，特别是在生成连贯叙事和风格化内容方面的能力，以及它在创意和视频编辑方面的潜在应用。

视频链接：https://www.bilibili.com/video/BV1pD421j7fv/

[ikaijua]

2024-03-14 DeepMind发布智能体SIMA，可根据自然语言指令在各种视频游戏环境中执行任务

1. DeepMind发布智能体SIMA：DeepMind宣布推出名为"SIMA"的智能体，它是一个通用的AI代理，可以在广泛的3D虚拟环境和视频游戏中遵循自然语言指令。
2. SIMA的功能和优势：SIMA可以完成类似于人类的任务，并在多种游戏世界中执行广泛任务，通过图像和自然语言指令进行评估。它旨在开发能够将抽象语言转化为有用行动的具身人工智能体。
3. SIMA的训练和合作：DeepMind与八家游戏工作室合作，训练SIMA在多种视频游戏中进行操作。通过与游戏开发者合作，SIMA能够学习并理解广泛的游戏世界，并遵循自然语言指令在其中执行任务。
4. SIMA的智能体架构：SIMA由预训练的视觉模型和一个包含内存并输出键盘和鼠标操作的主模型组成。它通过感知和理解多种环境，并采取行动以实现被指导的目标。
5. SIMA的评估和技能：SIMA在600项基本技能上进行了评估，涵盖了导航、物体交互和菜单使用等领域。它使用键盘和鼠标输出来控制游戏的角色以执行指令。
6. SIMA的目标和应用：SIMA的目标不是实现高游戏分数，而是开发能够将抽象语言转化为有用行动的智能体，并在虚拟和物理环境中理解并安全地执行指令。这种可泛化的系统将使AI驱动的技术更加有用和直观。
7. 视频游戏作为沙盒：DeepMind希望SIMA和其他智能体研究能够利用视频游戏作为沙盒，以更好地理解AI系统如何变得更有帮助，并推动人工智能在产业中的应用与落地。

官方博客：https://deepmind.google/discover/blog/sima-generalist-ai-agent-for-3d-virtual-environments/

媒体文章：

• 甲子光年：DeepMind发布智能体SIMA：可玩所有3D游戏｜甲子光年
• MIT Technology Review：An AI that can play Goat Simulator is a step toward more useful machines

[ikaijua]

2024-03-13 挪威央行投资管理机构CEO Nicolai对微软CEO 纳德拉的访谈

访谈内容的总结，涵盖了多个主题，包括微软的发展、科技的角色、AI的未来、领导力和个人成长等。

1. 微软的发展与平台转变：纳德拉强调科技行业的快速变化，提到自己在微软的32年职业生涯中经历了四次重大的平台转变。科技行业的不断自我创新是令人兴奋的，同时也带来了紧张感，但这是科技行业吸引人的地方。
2. 科技与经济增长：纳德拉认为科技投入在GDP中的比例有潜力增长，科技可以成为推动经济增长的关键因素，特别是在医疗、材料科学和能源转型等领域。
3. 微软在AI领域的创新与合作：他解释了微软与OpenAI合作的动机，强调了微软在AI基础设施领域的长期投入和寻找具有雄心壮志的技术创新合作伙伴的重要性。希望微软在未来三到五年内拥有最好的AI基础设施，特别是在Azure平台上训练和推理能力。
4. 微软的文化变革与个人成长：讨论了他在微软推动的文化变革，提到了减少失败的影响和增强成功的力量的重要性。
5. 同理心与执行力：他认为同理心是创造盈利和竞争力解决方案的必要条件，并不认为同理心与执行力之间存在矛盾。
6. 个人特质与领导力：Satya强调自己的领导力来自于自我认知，特别是了解自己的不足，并寻求从他人那里学习。
7. 个人爱好与对年轻人的建议：他分享了自己对诗歌的热爱，以及对年轻人的建议，他对年轻人的建议是全身心投入到当前工作中，用热情和能量去挑战和扩大工作范畴。

访谈视频：Satya Nadella - CEO of Microsoft | In Good Company | Podcast | Norges Bank Investment Management

中英文字幕视频：宝玉xp/Nicolai 对微软 CEO Satya Nadella 的访谈
访谈的中文翻译：Nicolai 对微软 CEO Satya Nadella 的访谈 [译]