AI新闻动态（2024-04-07到2024-04-13）

[ikaijua]

AI新闻动态（2024-04-07到2024-04-13

目录

AI产品

• GPT-4 Turbo with Vision 正式上线，具有文本和图像处理能力
• 谷歌在 Google’s Cloud Next 2024 上发布了一系列 AI 产品，包括 Gemini 1.5 Pro、CodeGemma、Axion 处理器
• xAI发布了首款多模态大模型Grok-1.5V
• Mistral AI发布最新8x22B MoE模型
• 首个击败GPT-4的开源模型Command R+
• 英特尔发布了新的AI芯片Gaudi 3，性能比英伟达H100快40%，推理大模型比H100快50%
• Udio AI音乐平台发布

AI研究

• 苹果发布的阅读屏幕的视觉模型Ferret-UI
• Meta公司发布下一代推理加速器芯片（Meta Training and Inference Accelerator，MTIA）

AI洞察

• 《福布斯》发布了第六届年度“人工智能50强”榜单

[ikaijua]

2024-04-10 GPT-4 Turbo with Vision 正式上线，具有文本和图像处理能力

1. 该模型拥有 128k 上下文窗口和 2023 年 12 月的知识库。
2. 与之前的 GPT-4 模型相比，输入和输出 token 的成本分别降低了三倍和一半。
3. 该模型已在健康、健身和网站开发等领域应用。健康和健身应用 Healthify 使用 GPT-4 Turbo with Vision 扫描用户的膳食照片，并通过照片识别提供对营养的见解。
4. 在编码基准测试中，GPT-4 Turbo with Vision 的表现比之前的 GPT-4 模型略差。在编码方面存在惰性，经常省去必要的代码。

官方文档：https://platform.openai.com/docs/models/continuous-model-upgrades

[ikaijua]

2024-04-10 谷歌在 Google’s Cloud Next 2024 上发布了一系列 AI 产品，包括 Gemini 1.5 Pro、CodeGemma、Axion 处理器

1. Gemini 1.5 Pro 是功能强大的生成式 AI 模型，现已在 Vertex AI 上提供公共预览版，能处理的上下文从 12.8 万个 token 增加到 100 万个 token。
2. Gemini 1.5 Pro 首次提供了语音理解功能（不是语音转文字再理解）和全新的文件 API，使文件处理变得更加简单。
3. 谷歌发布了三大开源工具 Max Diffusion、Jetstream 和 MaxTest，主要用于支持生成式 AI 项目和基础设施。
4. 谷歌云宣布推出其首款自主研发的 Arm 处理器 Axion，性能比其他竞争对手如 AWS 和微软的基于 Arm 的实例高出 30%。预计2024年上市。
5. CodeGemma 基于 Gemma 模型，为社区带来了强大而轻量级的编码功能，支持多种编程语言。
6. Google DeepMind 发布了一系列开放权重语言模型 RecurrentGemma，生成长序列时实现快速推理。
7. Google 发布 AI 视频创建工具 Google Vids。

官方博客：https://developers.googleblog.com/2024/04/gemini-15-pro-in-public-preview-with-new-features.html

媒体文章：

• 机器之心：全面突围，谷歌昨晚更新了一大波大模型产品
• 量子位：谷歌最强大模型免费开放了，长音频理解功能独一份，100万上下文敞开用

[ikaijua]

2024-04-10 Mistral AI发布最新8x22B MoE模型

1. Mistral AI发布281GB磁力链，包含最新8x22B MoE模型。
2. 模型具有56层、48个注意力头、8名专家和2名活跃专家。
3. 上下文长度为65k，支持多语言。
4. Mistral AI去年12月发布的8x7B MoE模型性能超越Llama 2； 今年2月发布的Mistral Large模型性能对标GPT-4；半个月前开源了Mistral 7B v0.2基础模型。

[ikaijua]

2024-04-10 首个击败GPT-4的开源模型Command R+

1. 1040亿参数的开源模型Command R+在大模型竞技场中与GPT-4打成平手，是首个击败GPT-4的开源模型。
2. 大模型竞技场是业界公认的重要测试基准之一。
3. Command R+来自AI独角兽Cohere，其联合创始人兼CEO Aidan Gomez是Transformer最年轻的作者。
4. Command R+是RAG（检索增强生成）优化模型，专注于减少幻觉产生，适配企业级工作负载。
5. Command R+支持10+种语言，具备自动化复杂业务流程的能力。
6. Command R+在成本方面具有优势，但在某些测试中表现不如GPT-4 turbo。

媒体文章：

• 量子位：开源模型首胜GPT-4，竞技场最新战报引热议，Karpathy：这是我唯二信任的榜单

[ikaijua]

2024-04-10 英特尔发布了新的AI芯片Gaudi 3，性能比英伟达H100快40%，推理大模型比H100快50%

1. 英特尔 Gaudi 3 是一款高性能 AI 加速器，具有 1835 TFLOPS 的 FP8 计算吞吐量。
2. 英特尔声称 Gaudi 3 在某些工作负载中性能优于英伟达的 H100。
3. Gaudi 3 使用 5nm 工艺制造，具有 4 个矩阵数学引擎和 32 个张量核心。
4. Gaudi 3 使用 HBM2e 内存，总容量为 128GB，带宽为 3.7TB/秒。
5. Gaudi 3 的 TDP 为 900 瓦，并提供液冷版本以获得更高的性能。
6. Gaudi 3 具有 8.4TB/秒 的以太网 I/O 带宽，可扩展至数千个节点。
7. 英特尔将在 2024 年第三季度推出 Gaudi 3，并提供 PCIe 卡版本。

媒体文章：

• 机器之心：英伟达竞品来了，训练比H100快70%，英特尔发最新AI加速卡

[ikaijua]

2024-04-09 苹果发布的阅读屏幕的视觉模型Ferret-UI

1. 苹果公司发布了一款新的多模态大语言模型（MLLM）——Ferret-UI，它专门设计用于理解和与屏幕信息进行交互。
2. Ferret-UI在所有基本UI任务上的表现超过了GPT-4V，显示出在理解和有效交互方面的巨大进步。
3. 该模型具备指向、定位和推理等多种能力，能够通过灵活的输入格式在移动用户界面屏幕上执行任务。
4. 引入了「任何分辨率」（anyres）技术，通过放大细节来提高模型对UI元素的理解精度。
5. Ferret-UI能够区分UI类型，如图标或文本元素，并在对话中提出目标导向的动作。
6. 研究人员使用了iPhone和安卓设备的屏幕数据集，以及预先训练好的UI检测模型来收集细粒度元素注释。

论文：https://arxiv.org/abs/2404.05719

[ikaijua]

2024-04-10 Udio AI音乐平台发布

1. Udio是一款新兴的AI音乐生成平台，它能够模仿多种唱法和音乐风格，包括古典、乡村、电子舞曲等，并支持多种语言的音乐创作。
2. Udio擅长多种音乐体裁和风格，如电子舞曲、钢琴爵士、新灵魂乐等，并能够生成日本流行乐、宝莱坞音乐、俄罗斯梦幻流行音乐等多种语言的音乐。
3. 尽管Udio在多语言音乐创作方面表现出色，但在生成中文歌曲时仍面临挑战，如发音不准确和歌词生成缺乏韵味。
4. Udio提供了一个直观的创作界面，允许用户输入提示词和自己的歌词，选择音乐风格，并提供建议来帮助用户改进创作效果。
5. 尽管Udio提供了相对较高的歌曲生成限额，但目前存在服务器稳定性和生成速度的问题，影响了用户体验。
6. Udio和其他AI音乐生成工具面临版权争议，音乐人担心AI可能会侵犯他们的权益。Udio回应称，其目标是创造新音乐而非复制现有作品。

网址：https://www.udio.com/

媒体文章：

• APPSO：音乐界 Sora 上线！AI音乐的 GPT 时刻到来了吗？

[ikaijua]

2024-04-13 《福布斯》发布了第六届年度“人工智能50强”榜单

1. 《福布斯》发布了第六届年度“人工智能50强”榜单，旨在选出AI领域最有前途的初创公司。
2. 榜单的编制得到了行业专家的帮助，以及红杉资本和Meritech Capital的数据支持。
3. 其中Abridge是一家位于宾夕法尼亚州的公司，由心脏病医生Shiv Rao创立，专注于使用AI技术减轻医生的文书工作负担。
4. ElevenLabs是一家英国公司，提供文本到语音的AI服务，能够克隆现有声音或生成合成声音，支持近30种语言。
5. Harvey是一家加利福尼亚州的初创公司，专注于帮助律师研究案例、起草和审查合同，以及查找法律先例。
6. Mistral AI是一家法国公司，被视为OpenAI在欧洲的竞争对手，主要开发免费的开源AI模型，并推出了名为"LeChat"的聊天机器人。
7. Pika和Tome是两家加利福尼亚州的公司，分别提供生成式AI视频制作和将文本转换成演示文稿的服务，均获得了知名投资者的支持。
   

官方新闻：https://www.forbes.com/sites/kenrickcai/2024/04/11/how-forbes-compiled-the-2024-ai-50-list/?sh=20b465f77152

https://www.forbeschina.com/innovation/innovation/67577

[ikaijua]

2024-04-13 xAI发布了首款多模态大模型Grok-1.5V

1. Grok-1.5V能处理文本、视觉信息，进行多学科推理。
2. xAI展示了Grok-1.5V的7个示例，包括代码生成、卡路里计算、讲故事等。
3. Grok-1.5V在RealWorld QA基准测试中表现优异。
4. xAI宣布向社区发布RealWorldQA基准测试，数据集大小为677MB。
5. Grok-1.5V将提供给早期测试者和现有用户。
6. xAI将继续改进多模态理解和生成能力，招聘更多人才加入。

官方博客：https://x.ai/blog/grok-1.5v

[ikaijua]

2024-04-15 Meta公司发布下一代推理加速器芯片（Meta Training and Inference Accelerator，MTIA）

1. MTIA是Meta公司专为其AI工作负载设计的定制芯片系列，用于支持排名和推荐广告模型，并在性能上显著优于MTIA v1
2. MTIA是Meta公司对AI基础设施的持续投资之一，旨在提供新的、更好的产品和服务体验。Meta正在构建以AI为中心的大规模基础设施，包括支持生成式AI（GenAI）产品和服务、推荐系统以及先进的AI研究。
3. MTIA是为Meta独特工作负载提供最高效架构的长期计划。随着AI工作负载在产品和服务中的重要性不断增加，这种效率将提高Meta为全球用户提供最佳体验的能力。
4. 下一代MTIA芯片相比第一代MTIA v1，在计算和内存带宽方面有显著提升，并保持与工作负载的紧密关联。新设计的MTIA芯片提供了更高的密集计算性能和稀疏计算性能，同时通过增加储存容量和改进网络架构进一步提高性能。
5. 为了支持下一代芯片，Meta开发了一个可容纳72个加速器的大型机架系统。该系统通过使用PCIe Gen5接口和升级后的加速器之间的通信，提供更高的带宽和可扩展性。软件和硬件系统的共同设计对整体推理解决方案的成功至关重要。
6. Meta还对MTIA的软件栈进行了优化，包括创建了Triton-MTIA编译器后端，以生成适用于MTIA硬件的高性能代码。Triton是一个用于编写高效ML计算核心的开源语言和编译器，它提高了开发者编写GPU代码的效率。Triton-MTIA通过优化硬件利用率和支持高性能计算核心，进一步提升了开发效率。
7. 下一代MTIA芯片相比第一代芯片，在评估的四个关键模型上已经提高了3倍的性能。在平台级别上，结合更多设备和强大的2插槽CPU，MTIA系统的模型服务吞吐量提高了6倍，每瓦性能提高了1.5倍。Meta公司通过优化内核、编译器、运行时和主机服务栈等方面取得了显著的进展。

官方博客：https://ai.meta.com/blog/next-generation-meta-training-inference-accelerator-AI-MTIA/