本页由英文机器翻译而成。阅读英文原文。

博客

为游戏生成云端 AI 视频与音频,无需 GPU

在 AI 智能体里用 Veo 3.1、Kling 和 ElevenLabs 等云端模型,为游戏生成过场动画、预告片、配音、音效和音乐。

为游戏生成云端 AI 视频与音频,无需 GPU

AI Game Developer 现在可以在云端为你的游戏生成视频和音频。向 AI 智能体要一段过场动画、一个预告片镜头、一段动态背景、一句配音、一个音效或一段音乐,它就会在 Google Veo 3.1、Kling 或 ElevenLabs 等云端模型上运行该任务。工作在 AI Game Dev 的服务器上完成,因此你既不需要本地 GPU,也不需要任何模型提供商的账号或密钥。

本地模型照常可用,并且仍然免费:如果你的电脑配有性能足够的 GPU,可参考 ai-game.dev/blog/local-ai-video-generation-on-your-gpu 上的指南在本地生成视频。云端生成面向其他所有用户,也适用于那些完全无法在本地运行的模型。

用云端 AI 视频生成能做出什么

一排静帧逐渐变成正在播放的视频条
从一句提示词和几帧画面到一个完成的片段
  • 过场动画和剧情节点,可由一段简短剧本或你自己的概念美术生成。
  • 用于商店页面或开发日志的预告片镜头。
  • 动态背景和标题画面。
  • 用于精灵图和视觉特效的参考片段:一次爆炸、一个法术、一段可供参考绘制的跑步循环。
  • 角色语音、音效,以及菜单和关卡的音乐。

视频模型

应用的 Models 标签页列出了每个模型的能力、运行方式以及你的账号能否使用。云端视频模型系列包括:

  • Google Veo 3.1,分 Lite、Fast 和 Standard 三个版本,全部支持原生音频:片段自带声音。
  • 来自 ByteDance 的 Seedance 2.0(以及 2.0 Fast),单个任务最多可接受 9 张参考图。
  • 来自快手的 Kling 3.0,分 Standard 和 Pro,另有用于参考图生视频的 Kling O3。
  • 来自阿里巴巴的 Wan,包括 Wan 2.2 和 Wan 3.0 Prime。
  • 来自 MiniMax 的 Hailuo。
  • PixVerse V6。
  • 来自 Lightricks 的 LTX 2.3,分 Fast 和 Pro。

列表中你还会看到 Gemini Omni 和 HappyHorse。这些模型大多会随画面一起生成声音;Wan 2.2、Hailuo 和 HappyHorse 生成的是无声片段。

四种开始生成片段的方式

四种开始生成视频的方式:从文本、从图像、从首帧和尾帧,以及从参考图像
文生视频、图生视频、首尾帧、参考图生视频
  1. 文生视频:描述镜头,模型将其创造出来。所有视频模型都支持。
  2. 图生视频:给智能体一张图片,例如你场景的截图或一张概念美术,它就会成为片段的起始帧。所有视频模型同样都支持。
  3. 首帧和尾帧:给出起始帧和结束帧,模型在两者之间做动画过渡。适合转场和循环。Veo、Seedance、Kling、Wan、Hailuo 和 PixVerse 支持。
  4. 参考图生视频:给出多张参考图片,例如某个角色几个角度的图再加一个场景,模型会在新的镜头中保持它们的一致性。Veo 3.1 Standard、Seedance 2.0、Kling O3 和 HappyHorse 支持。

这些你都不必记住:智能体能看到每个模型的模式、时长和分辨率,你只需说出你想要的结果。

AI 音频生成:语音、音效和音乐

三条波形:一句配音、一个短音效和一段音乐循环
语音、音效和音乐
  • ElevenLabs:用 Turbo 2.5 和 Eleven v3 生成语音,用 Sound Effects 2 生成 1 至 22 秒的音效。
  • Kokoro:美式英语语音,20 种音色,在云端运行。
  • 来自 Google 的 Lyria 2:器乐音乐,每个任务 30 秒。
  • ACE-Step:来自开放权重模型的器乐音乐。

对于音乐,你也可以让智能体用代码编写程序化音乐和音效,详见 ai-game.dev/blog/ai-game-music-and-sound-supercollider。

如何用 AI 智能体生成视频和音频

  1. 从 ai-game.dev/download 下载或更新 AI Game Developer App 并登录。
  2. 打开 Models 标签页浏览视频和音频模型,看看你的账号能用哪些。
  3. 在聊天会话中,打开该会话 Tools 里的 Cloud generation。它默认关闭,需要你手动开启;你还可以选择是让应用在每个任务前询问你,还是让智能体在不超过你设定的预算(以每月额度的百分比表示)内自行支出。
  4. 向智能体说出你的需求,例如:用这张截图作起点,做一个 6 秒的英雄走进洞穴的片段。你可以指定模型,也可以让智能体自己选。
  5. 在该任务的卡片上批准它。卡片会显示任务使用了什么,完成后文件会保存到你的项目中。

套餐、用量和地区

云端生成适用于付费套餐:Indie、Studio 和 Studio Max。少数模型需要 Studio 或更高套餐:Veo 3.1 Standard、Kling 3.0 Pro、Seedance 2.0 和 Seedance 2.0 Fast。在免费套餐和试用期内,你可以浏览云端模型,但无法运行它们。

每个云端任务会按百分比占用你的每月额度,失败的任务不计费。额度用尽后,任务可以使用你的额外余额,但前提是你在该任务的卡片上允许这样做。自己电脑上的本地模型始终免费。

部分模型在欧盟/欧洲经济区、英国或瑞士不可用:Seedance、Kling、Wan、HappyHorse、Hailuo、PixVerse、ACE-Step 和 Gemini Omni。Veo、LTX、ElevenLabs、Lyria 和 Kokoro 在这些地区仍可使用。你无需自己判断:Models 标签页会标出所有在你所在地区不可用的模型,智能体在选择模型时看到的可用性也是一样的。

保存你生成的内容

生成的文件会在我们的服务器上保留 7 天,之后连同你为任务上传的图片一起删除。智能体会在结果一就绪时把它保存到你的项目中。云端副本在 7 天后就不存在了,所以凡是还没进入你项目、而你又想保留的内容,请自行下载。

开始使用

我们很期待看到你的作品。欢迎在我们的 Discord 社区分享你的过场动画、预告片和配乐。

博客更多内容

全部文章