音频音乐与计算机的交融是一个多领域交叉的新兴学科，于2000年正式创建，以国际音乐信息检索会议(ISMIR)的建立为起点，研究对象主要是数字音乐及各种声音。“新兴学科的建立需要明确底层知识体系。”2013年起，复旦大学计算机科学技术学院教授李伟历时9年，策划构建了“音频音乐与计算机的交融——音频音乐技术”学科基础架构，参与的国内外专家学者、科研人员共138人次，出版教材《音频音乐与计算机的交融——音频音乐技术》、拍摄慕课“音频音乐与计算机的交融——音频音乐技术”。教材覆盖音乐科技与计算机听觉领域绝大多数的底层知识和科研及应用场景。慕课以教材为基础，面向音乐科技、音乐人工智能与计算机听觉/AI声学这一多领域交叉的新兴学科。

多领域交叉的新兴学科

人耳能听到的声音可划分为语音、音乐和一般音频三大类。针对不同种类，历史上先后形成了声学、语音信息处理、音乐科技与计算机听觉等学科。其中，音频音乐与计算机的交融是近20年发展起来的新兴学科，以数字音乐音频为研究对象，多领域交叉融合。其知识体系涉及数学、物理、心理、计算机、艺术等学科，并在工业、农业、服务业、医学、军事等领域应用。

音频音乐与计算机的交融在国外已有近70年的研究历史。20世纪50年代，欧美国家的作曲家、工程师和科学家开始探索利用新的数字技术处理音乐，并逐渐形成了这一学科。20世纪70年代起，美国斯坦福大学音乐和声学计算机研究中心(CCRMA)、法国巴黎音乐声学研究与协调研究所(IRCAM)、西班牙巴塞罗那庞培法布拉大学音乐科技研究组(MTG)、英国伦敦女王大学数字音乐研究中心(C4DM)等计算机音乐研究机构相继成立，获得了丰硕的科研成果，有些已经产业化并促进了音乐产业的革命性进步。2000年，国际音乐信息检索会议ISMIR的建立被视为该学科的正式创建。而欧洲因其浓厚的人文和艺术气息成为该领域的世界中心。

音频音乐与计算机的交融在我国起步较晚。上世纪80年代，中国大陆开始有人进行音乐科技的研究，90年代国内音乐学院陆续开办音乐科技或音乐工程专业。但是，国内音乐科技科研教学力量始终分散，直至2013年全国声音与音乐技术会议(CSMT)创建。这是国内惟一一个聚焦于“音频和音乐+计算机”的学术会议，从此，科研力量逐渐聚集起来。“最开始都是一些理工科的人把音乐作为一种复杂的音频信号加以研究，2019年以后一些音乐学院开始进入这个领域。”李伟表示，我国音乐产业不能依赖于国外软硬件技术，仅在应用层面发展，而应探索出一条适合中国国情的文理合作道路，发展产业底层的核心技术。

36位专家讲一门课

慕课截图

为了构建学科底层知识体系，2013年，李伟率音频音乐技术实验室FD-LAMT着手编著《音频音乐与计算机的交融——音频音乐技术》一书。试写三个月后，他发现内容过于庞杂，FD-LAMT实验室无法独立完成，项目只得搁置。2017年，编著工作重新启动，李伟、李子晋、邵曦担任主编，邀请各子领域专家学者、科研人员等五十余人完成上册，于2019年12月由复旦大学出版社出版，内容主要偏重于音乐信息检索技术。2020年5月下册编著工作启动，由近50位作者共同完成，于近日出版。《音频音乐与计算机的交融——音频音乐技术》全面介绍了音乐与数学、物理、心理学、脑科学、信号处理、人工智能、计算机、医学等学科的交叉研究内容，以及一般音频计算机听觉在日常场景、医学、制造、水声、生物等典型领域的研究进展与应用。

“对于这种同时具有很高理论研究价值和广阔应用前景的高门槛交叉学科，培养人才是一项艰巨又极其重要的任务，是促进整个学科发展的基石。”2020年6月，李伟组织开展音频音乐技术教学。与教材编写一样，音频音乐技术课程的教学也无法由某一位老师完成。教学团队由36位来自国内外的大学老师、行业专家组成。师资分散于不同的综合性大学、理工科大学及音乐学院，因此课程采用在线方式。在复旦大学在线教育中心资助下，智慧树教育有限公司拍摄、制作慕课“音频音乐与计算机的交融——音频音乐技术”，于2020年12月正式上线“中国大学慕课”。

36位老师以系列学术报告的形式，讲解各自具有丰富科研经验的章节。比如，中国传媒大学副研究员谢凌云讲授“心理声学”、中国音乐学院教授韩宝强讲授“音乐声学”、上海师范大学教授蒋存梅讲授“音乐心理学”等。“理工科隔行如隔山，需要多年的学习和科研经验才能成为某一方面的专家。每个人只是在其中的某一章甚至某一小节有科研经验。”李伟负责第一讲“音乐科技、音乐人工智能与计算机听觉概述”教学。

新学科有整体倒闭的风险

慕课“音频音乐与计算机的交融——音频音乐技术”每年春秋开课两次，时长824分钟，包括“基础篇”“音乐信息检索MIR”“音乐生成”“偏文科类Music AI”“一般音频计算机听觉”“其他音乐科技”等六大板块共16章。课程面向全社会开放，预备知识需要高等数学、大学物理、基础乐理、计算机基础等。李伟建议，艺术类学生不要纠缠于技术，AI系统开发是理工科的任务，但是，双方要了解彼此的专业术语和思维方式。

2月28日，慕课第三次开课，目前选课人数已达一千五百余人。前两次开课学习人数共计五千七百余人。学员可先对学科有一个全面的了解，再针对具体某个方向与相关导师合作科研进行深入学习。学员李思表示，“各位老师讲述音频音乐与计算机的交融技术非常全面，让我认识到这门技术应用如此之广，而且非常贴近生活，收获颇丰。”学员李萌玻希望，“每个老师在介绍自己所讲述的领域时，能够分享一些经典的文献或者学习的书目，当学习者对某一方面感兴趣时可以进行更深一步的学习。”

近年来，随着文理交叉思维观念的加深、人工智能技术的火热发展，业界对音乐科技、音乐人工智能及计算机听觉软硬件产品国产化需求日益增加，对此类人才的需求量迅速增大。“虽然我国音乐科技发展进步巨大，但仍处于起步阶段。冷门学科、新兴学科、交叉学科极难生存，在教育体制、评价机制、社会观念等方面的制约下，很难获得各种资源，在国家层面也资助很少。”李伟指出，音频音乐技术是典型的交叉学科，从顶层的应用需求到底层的信息技术支撑，二者缺一不可。理工科人员进行底层科研，研发出的技术为文科类院校及文化产业群服务。他希望能引起关注和吸引投入，否则该技术无法获得大的发展，甚至有整体倒闭的风险。“书籍及慕课作为普及音乐科技底层基础知识的手段，起到了夯实学科基础架构的作用，从这个角度看是成功的也是必须的尝试。但一个领域的发展还依赖于多方合作和国家政策的支持，这些东西就不是书和慕课能做到的了。”李伟说。