人工智能确实可以改变世界。对于音乐爱好者来说，AI可以帮到什么？事实上，目前AI确实可以做很多事情。这就是我今天要介绍的大模型AITabs。 AITabs是由专业人士创建的基于Transformer的混合多模态模型。它利用各种Transformer模型来解决音乐信息检索领域的各种专业问题，并依靠模型生成相应的相互影响的信息依赖关系。这是一个专注于音乐的人工智能驱动的多模式项目。它可以自动生成任何歌曲的和弦、节拍、歌词、旋律和标签。
技术架构底层技术架构如下：
U-Net用于将网络模型从原始音视频源中分离出来用于各种任务，包括Pitch-Net、Beat-Net、Chord-Net和Segment-Net，这些都是基于Transformer的专业大型模型。除了建立频率和时间之间的相关性之外，最重要的是可以建立不同网络之间的相互影响。
整个人工智能驱动的流程都在aitabs.py中，各种网络结构模型可以参考model文件夹。
U-Net 和Segment-Net 使用音频的stft 频谱作为输入。 Beat-Net 使用鼓、贝斯和其他乐器的三张频谱图作为输入，Chord-Net 使用一张背景音乐频谱图。
功能和弦：音乐和弦检测，包括大调、小调、7、maj7、min7、6、m6、sus2、sus4、5、倒和弦。确定歌曲的调。
节拍：音乐节拍、强拍检测和节奏(BPM) 跟踪
音高：跟踪曲目中旋律的音高。
音乐结构：音乐片段边界和标签，包括前奏、主歌、副歌、桥段等。
歌词：音乐歌词识别和自动歌词音频对齐，使用ASR（耳语）识别声乐曲目的歌词。歌词和音频的对齐是通过微调wav2vec2 预训练模型来实现的。目前支持英语、中文、西班牙语、葡萄牙语、俄语、日语、韩语、阿拉伯语等数十种语言。
AI Tabs：利用和弦、节拍、音乐结构信息、歌词、节奏等生成可播放的乐谱，包括和弦图和六线五线谱，并支持和弦、节奏、歌词的编辑功能。
其他：音源分离、速度调节、音调变化等。
该模型和试用模型目前在Github（github：/AIAudioLab/AITabs）上开源代码，并用Python编写。目前不确定代码是否能完整运行（有时间可以研究一下）。此外，还提供了一个可以尝试基本功能的网站（lamucal.ai）。试用后，功能正常，功能强大。
只需通过其搜索框搜索歌曲名称即可，例如刘欢的《好汉歌》
然后在结果中选择相应的歌曲（来自YouTube来源），AI模型将自动开始生成各种音乐元素，你也可以选择生成歌词。
最后，将给出一个综合界面，您可以在其中选择旋律和Tabs 选项卡来显示相关内容。右上角有一个V选择，可以选择吉他、钢琴等乐器类型，生成代表对应乐器的乐谱。最右侧是播放按钮、速度按钮和其他功能按钮（有些需要下载他们的APP才能使用）
我尝试了其他歌曲：
是否生成歌词和旋律模式：
目前发现的一个问题是，由于歌曲来自YouTube，可以进行AI生成操作，但不是播放，而是使用特殊方法播放时，歌词和乐谱与播放同步。对于不懂乐谱和乐器的学生来说，他会唱卡拉OK的歌词也很棒。
最后，我尝试了一首老歌《红梅赞》。我弹了这首歌，然后选了一个外国人来唱。歌词也跟得上节奏啊！
综上所述，人工智能改变世界主要是因为它彻底改变了行业和专业领域，而不仅仅是与人交谈、生成图片或生成视频。这篇文章提到这个模式是音乐领域的突破，确实令人震惊。希望各个专业领域的类似模式能够绽放光芒，共同迎接AI的春天。
