IT之家11 月21 日报道，Deepmind 最近推出了一款名为Lyria 的音频模型，可用于用乐器和人声生成音乐。此外，Deepmind还与YouTube合作，整合Lyria模型开发音乐创作工具Dream Track，号称可以让视频创作者“更高效地将想法转化为作品”。
研究人员描述了当前通过人工智能模型生成音乐的挑战，因为音乐本身包含极高的信息密度，每一秒都可能有多个节拍、音符和和声。这也使得“生成音乐”比“生成语言（文本转语音）”更加复杂，并且对于AI 模型来说，在较长的音乐序列中保持连续性也更加困难，因为模型需要在整个过程中保持音乐的流动性和一致性。不同的短语、诗句和长段落。
此外，由于音乐片段往往同时包含多种声音和乐器，这进一步增加了音乐生成的难度，因此相关的音频模型必须能够协调多种声音和旋律，使生成的音乐更加自然。
Deepmind开发的Lyria AI模型就是解决上述痛点的尝试。该模型最大的特点是可以生成包括乐器和人声在内的高质量音乐。
图片来源Deepmind 此外，Lyria 模型还擅长音乐变换和延续的任务，因此该模型还可以根据现有的音乐片段生成风格新颖或统一的后续片段。
研究人员还强调，Lyria 模型具有详细的微调选项，可以让用户准确地生成音乐风格和表达方式。因此，这种模式可以“满足专业音乐创作的需求，同时也方便业余用户上手”。
图片来源DeepmindIT House 注意到，YouTube 已经在短视频功能“Shorts”中应用了Lyria 模型，相关成果已集成到YouTube 的实验性音乐创作工具Dream Track 中。用户可以使用这个工具生成多样化的配乐，并且可以选择使用Charlie Puth、Charli XCX、Sia等艺术家的音乐风格来创造“新的诠释”。
图片来源Deepmind 报道称，用户只需在Dream Track 中输入主题，然后选择艺术家即可为短视频生成30 秒的配乐、歌词、伴奏等内容。
图片来源Deepmind
图片来源Deepmind 此外，Deepmind 还表示，研究人员正在广泛探索AI 在音乐创作领域的应用。未来，用户只需哼唱，AI就会将旋律配音成一首完整的歌曲并附上歌词。它还可以录制古歌。将MIDI 音乐转换为混音版本，或向曲目添加各种乐器伴奏。
Deepmind 还提到，Lyria 模型生成的所有内容都会打上SynthID 水印。这是一种识别歌曲是否由AI生成的水印机制。它声称能够将“听者难以察觉的水印”嵌入人工智能生成的音乐中，而不影响聆听体验。
图片来源Deepmind 研究人员提到，带有“声音水印”的音频即使添加噪音，或者进行MP3 压缩，甚至改变音调速度，也能保持可检测性，并且Lyria 模型还可以通过歌曲中的SynthID 来检测歌曲，从而确认Lyria模型生成的歌曲部分，更容易识别音乐主题内容，方便后续音乐片段的生成。
