分享

AI3秒作曲:科技与音乐的碰撞

 刘沟村图书馆 2023-06-01 发布于河南

Google有一款叫做MusicLM的作曲AI,可以根据输入的自然语言生成音乐;也可以输入画作生成,实现从图片到音乐的转换;甚至可以用旋律(例如口哨声、哼唱声)作为条件,生成符合描述风格的音乐。

图片

图文创造音乐

AI技术已经进入音乐行业,即使缺乏音乐知识的人也能够通过简单的一句话,一张图来创作出歌曲。

1)图片生成音乐

我们上传一张哭泣的甄嬛,看它是怎样理解:

图片

模型生成的:

前奏部分的低沉氛围与主人公甄嬛此时的悲伤心情相呼应,但之后曲调却突然欢快起来。聪明的AI可能通过图片猜到了主人公钮祜禄·甄嬛回宫复仇的故事情节。

我们来在来看看它是怎样理解世界名画的:
图片
模型生成的:

除了平时拍摄的生活照片,还可以尝试上传由人工智能生成的图片,让AI在图画方面自由发挥。
如:日本网友用NovelAI生成了一张明日香观看月全食的图片
图片

模型生成的:
把它转换为音乐后,听着能体验到一种辽阔而神秘的情感氛围,令人意外的是这种情感与图片所表达的情感十分契合。

2)文字生成音乐
一句话,让AI生成个性化音乐。不管描述是 一段话、一个故事或一个词语,MusicLM 都能生成对应对应的音乐,还可根据文本中的年代、时间、地点等要素来调整音乐的风格。
 如:输入文字“赛博朋克街道'’ 
听着是不是有一种科幻未来的感觉 
如:再来输入“雨天小猫在草丛中奔跑,身后有一只狗在追它,紧张,流行音乐” 
动次打次紧凑的节拍有一种你追我赶的打斗电影画面感

3)文生图片在生音乐视频
音乐视频一键搞定,输入文字,AI帮你完成剩下的出图与配乐部分同时拼合成视频,一条龙搞定了。

输入文本:夕阳日落时,阳光落在云层上,海面波涛汹涌,风景,胶片感


图片

模型生成的:



旋律创造音乐

MusicLM可以学
习输入音频的旋律主题,生成相同主题的一段乐曲,下面是官网中给出的几段音频:
如:输入肖邦Op10. No.5 黑键练习曲的一小段开头,模型生成了一段主题相近的音乐片段:
输入的音频:
模型生成的:

还可将旋律条件加入生成模型中,解码器负责整合编码器生成的伴奏和用户输入的旋律,最终输出整个表演的音乐作品。
如:输入《一闪一闪小星星》的旋律,没有指定和弦,生成了两段不同伴奏的旋律如下:

AI写歌带来的变化
对于音乐创作者而言,AI作曲可以提高他们工作效率,并且可以帮助他们更好地探索各种不同类型和风格的音乐。在某些情况下,也可以使用AI生成出一些初步想法或灵感,并且在此基础上进一步发展。
商业化方面,AI可以帮助唱片公司更好地预测市场需求,并且根据需求进行生产

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多