Google有一款叫做MusicLM的作曲AI,可以根据输入的自然语言生成音乐;也可以输入画作生成,实现从图片到音乐的转换;甚至可以用旋律(例如口哨声、哼唱声)作为条件,生成符合描述风格的音乐。
图文创造音乐 AI技术已经进入音乐行业,即使缺乏音乐知识的人也能够通过简单的一句话,一张图来创作出歌曲。 1)图片生成音乐 我们上传一张哭泣的甄嬛,看它是怎样理解:
模型生成的: 前奏部分的低沉氛围与主人公甄嬛此时的悲伤心情相呼应,但之后曲调却突然欢快起来。聪明的AI可能通过图片猜到了主人公钮祜禄·甄嬛回宫复仇的故事情节。除了平时拍摄的生活照片,还可以尝试上传由人工智能生成的图片,让AI在图画方面自由发挥。如:日本网友用NovelAI生成了一张明日香观看月全食的图片把它转换为音乐后,听着能体验到一种辽阔而神秘的情感氛围,令人意外的是这种情感与图片所表达的情感十分契合。
一句话,让AI生成个性化音乐。不管描述是 一段话、一个故事或一个词语,MusicLM 都能生成对应对应的音乐,还可根据文本中的年代、时间、地点等要素来调整音乐的风格。 如:再来输入“雨天小猫在草丛中奔跑,身后有一只狗在追它,紧张,流行音乐” 3)文生图片在生音乐视频 音乐视频一键搞定,输入文字,AI帮你完成剩下的出图与配乐部分同时拼合成视频,一条龙搞定了。输入文本:夕阳日落时,阳光落在云层上,海面波涛汹涌,风景,胶片感 MusicLM可以学习输入音频的旋律主题,生成相同主题的一段乐曲,下面是官网中给出的几段音频: 如:输入肖邦Op10. No.5 黑键练习曲的一小段开头,模型生成了一段主题相近的音乐片段:还可将旋律条件加入生成模型中,解码器负责整合编码器生成的伴奏和用户输入的旋律,最终输出整个表演的音乐作品。如:输入《一闪一闪小星星》的旋律,没有指定和弦,生成了两段不同伴奏的旋律如下:对于音乐创作者而言,AI作曲可以提高他们工作效率,并且可以帮助他们更好地探索各种不同类型和风格的音乐。在某些情况下,也可以使用AI生成出一些初步想法或灵感,并且在此基础上进一步发展。商业化方面,AI可以帮助唱片公司更好地预测市场需求,并且根据需求进行生产
|