AI新闻动态（2024-01-21到2024-01-27）

[ikaijua]

AI新闻动态（2024-01-21到2024-01-27）

目录

AI产品

• 剪映上线音色克隆功能，效果炸裂
• OpenAI发布了五个新模型：GPT-4 Turbo预览模型、GPT-3.5 Turbo模型、文本审核模型和两种新的文本嵌入模型
• 零一万物发布开源多模态大模型Yi-VL

AI机器人

• 马斯克：若人类文明基石稳固，20年后地球上可能会有10亿个人形机器人
• 欧盟计划在2025年前发布一个AI机器人战略，以确保欧洲在该领域保持重要地位
• 纽约大学和Meta合作开发的一款名为OK-Robot的机器人，具备了端茶倒水和执行简单家务任务的能力

AI研究

• AI预测蛋白质结构或助力开发新型抗抑郁药
• 谷歌最新的AI视频生成器研究项目Lumiere，它可以轻松删除视频中的人物
• 南洋理工大学发表AI视频生成模型的评测框架VBench，全面、细致地评估视频生成的效果

AI洞察

• Martian公司发布了LLM推理提供者排行榜
• 美国国家科学基金会（NSF）启动国家人工智能研究资源试点（NAIRR）的项目，旨在促进美国各地的AI研究

AI融资

• AI语音合成公司ElevenLabs完成了8000万美元的B轮融资，估值超过10亿美元

[ikaijua]

2024-01-23 AI语音合成公司ElevenLabs完成了8000万美元的B轮融资，估值超过10亿美元

1. ElevenLabs是一家专注于AI语音合成的初创公司，最近完成了8000万美元的B轮融资，估值超过10亿美元，成为独角兽企业。
2. 该公司的语音合成工具被认为是语音克隆领域中最强大的之一，能够复刻任何人的声音，并模仿语调和情绪变化。
3. ElevenLabs的创始人分别来自谷歌和Palantir等知名公司，该公司的语音模型支持29种语种的语音生成，包括中文，并提供免费使用额度和会员服务。
4. ElevenLabs的客户覆盖媒体、游戏等多个领域，与P社和网易等公司有合作关系。
5. 该公司获得了知名投资机构的领投，包括a16z、GitHub前首席执行官Nat Friedman和前YC合伙人Daniel Gross，以及红杉资本、SV Angel、Smash Capital、BroadLight Capital和Credo Ventures的跟投。
6. ElevenLabs的未来计划包括推出AI配音服务和语音库市场，并计划扩大团队规模。
7. ElevenLabs在语音合成领域展示了竞争优势和市场潜力，取得了资本市场的认可和投资支持。
8. ElevenLabs 目前拥有约 40 名远程办公员工，分布在全球各地，并计划到年底将团队扩大至 100 人。如今，41% 的财富 500 强公司的员工正在使用 ElevenLabs 技术。

ElevenLabs官方博客：ElevenLabs Releases New Voice AI Products and Raises $80M Series B

媒体文章：

• 量子位：1分钟复刻明星语音，这家AI创企开年跻身独角兽

[ikaijua]

2024-01-22 马斯克：若人类文明基石稳固，20年后地球上可能会有10亿个人形机器人

1. 马斯克在X上发帖称：若人类文明基石稳固，20年后地球上可能会有10亿个人形机器人。
2. 马斯克曾预测，特斯拉开发的人形机器人“擎天柱”将来可能会比电动汽车业务更重要。
3. 马斯克希望在三到五年内将擎天柱推向市场，并认为其可在各种环境中自主完成任务。
4. 马斯克计划生产数百万台Optimus机器人，每台价格预计在2万美元左右。
5. 尽管目前擎天柱的能力有限，但马斯克对其未来发展充满信心，预计在5到10年内将变得令人难以置信。
6. 马斯克前段时间发布的视频展示了擎天柱机器人折叠衬衫的场景，他相信擎天柱最终能够在任何环境中完全自主地完成任务。

媒体文章：

• 腾讯科技：马斯克支持大胆预言：20年后地球上将有大约10亿个人形机器人

[ikaijua]

2024-01-26 OpenAI发布了五个新模型：GPT-4 Turbo预览模型、GPT-3.5 Turbo模型、文本审核模型和两种新的文本嵌入模型

1. GPT-4 Turbo预览模型的更新：gpt-4-0125-preview是为了解决GPT-4在完成代码任务时的"惰性"问题，提供更完整和彻底的代码生成。
2. GPT-3.5 Turbo模型将在下周发布，价格更低、性能更强。输入价格将降低50%，输出价格降低25%。
3. 两种新的文本嵌入模型（text-embedding-3-small和text-embedding-3-large）可以帮助理解内容之间的关系，并执行聚类或检索等任务。
4. 新的文本审核模型（text-moderation-007）被称为"迄今最强大的审核模型"，用于识别潜在有害的文本。
5. OpenAI还改进了两个平台，开发者现可在 API 密钥页面对密钥进行权限设置，不用担心被盗用了；可以把界面语言设置为中文等多国语言。

openai官方博客：https://openai.com/blog/new-embedding-models-and-api-updates

媒体文章：

• 量子位：GPT-4不偷懒了！OpenAI连甩五个大模型，价格最低打两折
• 机器之心：OpenAI官方下场修复GPT-4变懒，上新多个模型、还大降价

[ikaijua]

2024-01-26 Martian公司发布了LLM推理提供者排行榜

1. Martian公司发布了LLM推理提供者排行榜：这是一个开源的大型模型API推理产品排行榜，对供应商的成本、速率限制、吞吐量和TTFT进行了基准测试。
2. 不同公司的大型模型服务存在成本差异：排行榜显示不同公司提供的大型模型服务之间存在5倍以上的成本差异，以及6倍以上的吞吐量和速率限制差异。
3. Anyscale在吞吐量方面表现最佳：Anyscale公司提供的服务在Llama-2-70B模型的中等服务负载下具有最佳吞吐量。
4. Together AI在大型服务负载方面表现优秀：Together AI公司在Llama-2-70B和Mixtral-8x7B模型的大型服务负载下具有最佳的P50和P90吞吐量。
5. LeptonAI在短输入+长输出提示负载上表现出色：LeptonAI公司在短输入+长输出提示负载下能够提供最佳的吞吐量。
6. 大型模型API的成本问题：如果一个模型在高工作负载基准测试中表现出色，那么它很可能是在烧钱。选择合理的容量和厨师（GPU）是确保服务能够承载正常流量的重要因素。
7. 模型最终会趋于相似的表现：大型模型行业会迅速收敛到相同的解决方案，并且由于GPU的原因，某些公司（如英伟达）在性能上更具优势。
8. 客户关注性能而非成本：作为应用程序构建者，客户通常更关注API提供商的性能而不是成本。基准测试对于评估人工智能基础设施的效果非常重要。

排行榜链接：https://leaderboard.withmartian.com/

媒体文章：

• 机器之心：大模型推理成本排行榜来了：贾扬清公司效率领跑

[ikaijua]

2024-01-25 美国国家科学基金会（NSF）启动国家人工智能研究资源试点（NAIRR）的项目，旨在促进美国各地的AI研究

1. NAIRR项目是一个共享国家研究基础设施的概念，旨在确保广泛的研究和教育界都能公平获取到关键的AI基础资源和工具。
2. 该项目联合了10个联邦机构、私营企业和非盈利组织等，提供各种AI相关基础设施资源，包括数据集、AI模型、软件和培训资源等。
3. 合作机构包括NASA、英伟达、OpenAI等科技公司，它们通过捐赠关键基础资源对试点项目做出贡献。
4. 试点项目的目标是使研究资源获取民主化，保持美国在AI领域的国际竞争力。
5. 试点项目每年有8亿美元的预算，但须取决于相关法案在国会的通过和资助。
6. 研究人员可以通过网站申请访问NAIRR的试点项目，如果获得访问权限，可以使用昂贵且强大的基础服务，如微软Azure或亚马逊Bedrock，而无需投入大量的研究资金。
7. 合作机构除了提供资源外，还与申请人在各自的专业领域展开合作，例如NASA提供数据集和实践教程。
8. 试点项目将重点关注医疗保健和可持续环境中使用AI的应用，并侧重于四个重要领域：NAIRR Open、NAIRR Secure、NAIRR Software和NAIRR Classroom。

NAIRR项目官网：https://nairrpilot.org/
官方新闻：https://new.nsf.gov/news/democratizing-future-ai-rd-nsf-launch-national-ai

媒体文章：

• 机器之能：美国家AI研究资源试点项目上线，NASA、英伟达、OpenAI等捐赠关键基础资源

[ikaijua]

2024-01-24 欧盟计划在2025年前发布一个AI机器人战略，以确保欧洲在该领域保持重要地位

1. 该计划旨在确保欧洲在这一领域保持重要地位，该机器人战略将保证负责任和符合道德地使用机器人，同时考虑隐私、网络安全、透明度以及责任问题。
2. 2024年前两季度,欧盟委员会将与27个成员国密切合作制定这一战略。
3. 战略将涵盖机器人开发和应用的各个方面，与委员会其他AI相关计划也将衔接。
4. 欧盟近年来工业机器人安装量快速增长，主要应用国家是德国、意大利等。
5. 欧盟一直在人工智能监管领域走在前列，2022年12月达成《人工智能法》初步协议。

媒体报道：

• 澎湃新闻：欧盟计划2025年发布AI机器人战略，确保负责任、守道德

[ikaijua]

2024-01-24 AI预测蛋白质结构或助力开发新型抗抑郁药

1. 美国北卡罗来纳大学和加州大学旧金山分校的科学家使用AlphaFold预测工具识别了数十万种潜在的新迷幻分子，这可能有助于开发新型抗抑郁药物。
2. AlphaFold是由英国DeepMind开发的人工智能工具，可以预测蛋白质结构及其相互作用，改变了人们对蛋白质的理解方式。
3. 以往的研究发现，AlphaFold在蛋白质-配体对接的建模方法中的预测相对不如实验方法（如X射线晶体学）获得的蛋白质结构准确。
4. 一些科学家开始怀疑AlphaFold的预测是否能成为新药研发的"金标准"实验模型。
5. 研究团队对AlphaFold预测的蛋白质结构与实验室制备的蛋白质结构进行了比较，并测试了它们与化合物的结合能力。结果显示，AlphaFold预测的蛋白质结构与实验衍生的蛋白质结构在识别具有活性的化合物方面表现相似。
6. AlphaFold预测的蛋白质结构已确定了最有效激活血清素受体的化合物，这对于抗抑郁药物的研发具有重要意义。
7. 一些科学家相信AlphaFold的蛋白质结构预测能力可以改变药物发现的常规途径，但也有科学家指出预测的结构对不同药物靶点的帮助程度有所差异，有时仍需要更详细的实验模型来优化候选药物的特性。
8. 尽管人工智能工具在蛋白质结构预测方面具有潜力，但科学家们强调这些工具不能完全取代传统实验，在寻找新药的潜力方面仍应受到重视。

Nature文章：AlphaFold found thousands of possible psychedelics. Will its predictions help drug discovery?

媒体文章：

• 澎湃新闻：AI预测蛋白质结构或助力开发新型抗抑郁药，《自然》：重视它

[ikaijua]

2024-01-24 谷歌最新的AI视频生成器研究项目Lumiere，它可以轻松删除视频中的人物，例如前男友，并以自然的方式填充指定内容。

1. 谷歌开发了一种名为"Lumiere"的AI视频生成器，可以根据用户的自然语言提示创造逼真的视频。
2. Lumiere集成了多种功能，包括将静止图像动起来、克隆具有相似风格的视频、修补视频中的内容等。
3. 修补功能令人惊叹，用户可以简单地删除不喜欢的图像内容，并让模型自动填充指定内容。
4. Lumiere采用了一种名为"时空U-Net架构"的新技术，可以构建整个视频长度，实现全局的时间一致性。
5. 目前，Lumiere仍然是一个研究项目，但其效果令人印象深刻。谷歌希望能够让更多人体验Lumiere并了解其效果。

项目地址：https://lumiere-video.github.io/

媒体文章：

• 机器之能：视频里有前男友？谷歌最新AI视频生成器 Lumiere，轻松让他消失

[ikaijua]

2024-01-24 纽约大学和Meta合作开发的一款名为OK-Robot的机器人，具备了端茶倒水和执行简单家务任务的能力

1. OK-Robot是一款能够执行家庭任务的机器人，如拿取物体、整理物品和扔垃圾等。
2. 该机器人利用视觉语言模型、导航和抓取模块相结合的开放知识型框架来实现高效的操作。
3. 在测试中，OK-Robot在10个真实家庭环境中进行了171个拾取任务，成功率平均为58.5%。
4. 通过改进查询、整理空间和排除具有对抗性的物体，成功率提高到约82.4%。
5. 文章强调了预训练的视觉语言模型和抓取模型在机器人操作中的有效性。
6. 研究者发现将各个组件组合到一个简单的状态机模型中可以实现高效操作，并通过启发式方法克服机器人的物理限制。
7. 目前仍存在一些挑战，包括改进视觉语言模型、机器人模型和机器人形态学，以提高机器人操作的性能。
8. 为了促进其他研究者在开放知识机器人领域的工作，作者表示将共享OK-Robot的代码和模块。

ok-robot-1-header_video_ultra_ultra_compressed.mp4

项目地址：https://ok-robot.github.io
论文链接：https://arxiv.org/pdf/2401.12202.pdf

媒体文章：

• 机器之心：买个机器人端茶倒水有希望了？Meta、纽约大学造了一个OK-Robot

[ikaijua]

2024-01-22 零一万物发布开源多模态大模型Yi-VL

1. 零一万物开源多模态语言大模型Yi-VL，包括Yi-VL-34B和Yi-VL-6B两个版本。
2. 在英文数据集MMMU和中文数据集CMMMU上，Yi-VL模型展现出卓越的图文理解和对话生成能力，并在榜单中取得领先成绩。
3. MMMU数据集包含来自六个核心学科的11500个问题，对模型的知觉和推理能力提出了高要求。Yi-VL-34B在该数据集上表现出41.6%的准确率，仅次于GPT-4V。
4. CMMMU数据集包含约12000个中文多模态问题，Yi-VL-34B以36.5%的准确率紧随GPT-4V之后，处于领先位置。
5. Yi-VL模型基于开源LLaVA架构，包含Vision Transformer（ViT）和Projection模块，以及Yi-34B-Chat和Yi-6B-Chat大规模语言模型。
6. Yi-VL模型的训练过程分为三个阶段，旨在提升视觉和语言处理能力。训练数据涵盖了多样化的数据源，共约100万个图像-文本对。

Yi-VL 模型开源地址：

• https://huggingface.co/01-ai
• https://www.modelscope.cn/organization/01ai

官方公众号文章：零一万物Yi-VL多模态语言模型上线，跻身全球开源顶尖水平

媒体文章：

• 机器之心：零一万物Yi-VL多模态大模型开源，MMMU、CMMMU两大权威榜单领先
• 量子位：世界顶尖多模态大模型开源！又是零一万物，又是李开复

[ikaijua]

2024-01-21 南洋理工大学发表AI视频生成模型的评测框架VBench，全面、细致地评估视频生成的效果

1. AI视频生成是当前热门的领域之一，已经发布的视频生成模型，包括Pika、Gen-2、Show-1、VideoCrafter、ModelScope、SEINE、LaVie和VideoLDM等，这些模型的发布引起了人们的关注。
2. 为了评估视频生成模型的效果，作者提出了一个名为VBench的评测框架。VBench提供了16个分层和解耦的评测维度，可以全面、细致地评估视频生成的效果，并与人类的观感和评价对齐。
3. 文章介绍了VBench开源的AI视频生成模型的评测结果。其中，VideoCrafter-1.0和Show-1在大多数维度上表现较好。
4. Gen-2和Pika这两家公司的模型在视频质量方面有明显优势，例如时序一致性和单帧质量等。
5. 通过VBench评测，可以发现不同模型中可能存在的问题，并为未来AI视频生成的发展提供有价值的见解。
6. 研究还提出了一些关于AI视频生成的思考，如时序连贯性与视频的动态程度之间的权衡关系，以及评估模型在不同场景下的性能差异等。

• Github地址：https://github.com/Vchitect/VBench
• 项目地址：https://vchitect.github.io/VBench-project/
• 论文：https://arxiv.org/abs/2311.17982

媒体文章：

• 机器之心：Pika、Gen-2、ModelScope、SEINE……AI视频生成哪家强？这个框架一测便知

[ikaijua]

2024-01-24 剪映上线音色克隆功能，效果炸裂

1. 录制10几秒的文本即可实现效果惊艳的音色克隆。
2. 目前该功能处于小规模测试阶段，只有少部分用户可以体验，预计月底会全量上线。目前只有APP端有这个功能。
3. 剪映的音色克隆功能与其他类似产品对比，剪映的音色克隆效果非常好，与原始声音基本一致。11Labs的效果会有不少的错误和偏差。
4. 剪映的音色克隆，只能克隆自己声音的，而不能像一些现在市面上的开源项目一样，上传一段音频后，就能把那个人的声音克隆出来。原因其实非常简单，隐私与风险。
5. 剪映这个AI音色克隆，跟豆包那个克隆效果类似，背后的模型应该是一摸一样的。

媒体文章：

• 数字生命卡兹克：剪映上线5秒“AI克隆音色”，一堆AI公司又要进入慢性死亡了...