阅读谱例、图表等请扫二维码

摘 要:随着人工智能技术的不断发展，智能音乐机器人在古筝演奏领域的研究变得日益深入。其中，音色识别技术作为关键部分，对机器人精准模拟人类演奏、领会演奏情感以及达成艺术表现力有着关键价值。本文基于古筝机器人的音色识别技术做系统的综述，介绍了古筝音色特征分析的基础理论与深度学习模型在音色识别里的应用，探讨了音色数据库建设的意义与跨领域融合的发展趋向，并对现有研究成果给予总结与展望，以期能为该领域研究提供全面的理论依据与技术支持。

关键词:古筝机器人；音色识别；深度学习

作者简介:

韩学周（1977— ），男，汉族，北京科技大学计算机与通信工程学院在读博士。

孟猛（1985— ），男，汉族，博士，中央音乐学院博士后。

基金信息:本文为2025年度中央高校基本科研业务费专项精品文科项目“人工智能时代的科技、治理与安全研究”（项目编号：FRF-BRA-25-013）的阶段成果。

引 言

古筝演奏技巧的复杂性和多样性，以及其音色的丰富变化，无疑为智能音乐机器人的演奏能力提出了更高的挑战。音色识别技术在古筝机器人演奏系统中扮演着至关重要的角色，其重要性不言而喻。该技术的优劣直接决定了机器人是否能够精确地理解并模仿人类演奏者特有的音色特征，从而实现高质量的演奏效果。为全面把握古筝机器人音色识别任务的研究脉络，文章对近十年国内外公开发表的代表性文献进行系统梳理。遵循“特征提取—模型设计—评测指标—主要结论—尚存局限”的学术综述范式，将相关成果划分为“国外通用弦乐框架”“国外多模态情感计算”“国内传统机器学习”“国内深度学习”“国内教育/康复轻量化”五条技术路线，并以图片形式进行量化对比，为后续章节的技术路线选择奠定文献基础。

国外在“机器人+声学乐器”交叉领域的研究起步较早，但聚焦于古筝音色识别的公开成果仍属稀缺。现有文献可归纳为两条主线：其一，以物理建模与声学特征为核心的“通用弦乐机器人音色”框架；其二，面向“人-机器人”协同演奏的“多模态情感计算”框架。

对于通用弦乐机器人音色框架研究方向，Murphy等在文中谈到埃里克·辛格参与设计并建造了名为“奥克斯特里昂”的机器人乐团 1 。其中，提出的“富有表现力的机器人吉他”系统，首次将基频（F0）、频谱质心（SC）、梅尔倒谱系数（MFCC）与演奏机器人实时控制指令（拨弦力度、拨片位置）联合建模，用于区分拨弦、扫弦、泛音三种音色，识别率达到93.7%。该工作奠定了“声学特征+机器人控制量”融合的先河，但实验对象局限于吉他，且未考虑古筝特有的左手颤音、按滑音等技法。同时，Pluta等于2022年以机器人为激发源，通过有限差分模型合成声学吉他音色，验证了机器人重复激发条件下频谱特征的稳定性 2 ，为古筝机器人音色可重复性研究提供了物理建模思路。然而，该工作缺少真实古筝样本，模型迁移性未知。对于多模态情感计算的研究，Vear探讨了名为“具身音乐机器人”的表演机器人项目在创意与技术层面的探索。该项目的核心理念是人机协同人工智能（HC-AI），致力于设计开发能与人类实时深度互动的智能系统，从而实现“深刻而富有意义的协作”。 3 它使用深度循环网络融合音频（MFCC+ΔMFCC）与视觉（机器人手势关节角）特征，实现“情感音色”四分类（忧伤、欢快、愤怒、中性），识别率为89.2%。该研究强调“人—机器人”交互体验，但所用数据仅为西方弦乐，古筝音色映射的合理性尚未验证。

国内近十年围绕古筝机器人音色识别的研究呈由浅入深趋势，可细分为三类：传统机器学习、深度学习，以及面向教育/康复场景的轻量化实践。首先，传统机器学习路线。2018年，周莉等在扬琴自动演奏机器人项目中，“利用Solidworks三维建模软件建立机械臂的虚拟样机模型，对其进行运动过程仿真，仿真结果验证了机械臂结构及连杆参数设计的合理性” 4 。将12维MFCC、频谱通量（SF）与短时能量（RMS）拼接后输入SVM，实现5类敲击音色的识别，准确率为87.5%。该研究首次验证“传统声学特征+SVM”在弹拨/敲击类民族乐器上的可行性，但特征维度较低，难以捕捉古筝吟、揉、滑等细节。其次，深度学习路线方面，已涉及古筝机器人的深度研究。2020年，吴文莉提出了“采用独立循环神经网络和散射变换相结合的音乐风格识别方法”，并“从散射变换的原理出发，解释了在本任务上使用散射变换的优越性和合理性”。 5 由此可以尝试，基于Scatter-CNN的古筝风格—音色联合识别框架：先以散射变换（Scattering Transform）提取局部时频不变特征，再经1-DCNN输出8类古筝技法（托、劈、抹、挑、勾、剔、打、摘）概率分布，在自建3.2h数据集上识别率达到94.3%。该工作首次将散射变换引入古筝音色识别，显著提升了抗噪性，但模型参数量5.8M难以直接部署在嵌入式机器人控制器上。2022年，张婷采用短时傅里叶变换结合梅尔频谱计算的组合方法，对节拍数据进行预处理，对独立循环神经网络模型进行改进，丰富模型自适应选择方案，利用姿态识别技术对信息转换不完整的弊端进行改善， 6 解决了机器人舞蹈表演中的“错拍”问题，识别率为90.1%。其贡献在于将音色识别结果用于机器人动作节拍对齐，但未对颤音、滑音等微分音高现象建模。2023年，戴培在面向STEAM中的Art元素上，设计了一套面向STEAM教育的音乐机器人系统。 7 在STEAM教育的古筝机器人中，采用4层轻量Transformer（d_model=128，head=4）对64维MFCC序列建模，利用知识蒸馏将浮点模型压缩至0.9M，保持91.7%的识别率。该系统已在广州中学生特训营中投入使用。其不足之处在于：为降低算力，仅截取1s片段，导致长音拖腔的尾部音色信息丢失。最后，面向教育/康复场景的轻量化路线研究。2019年，孙龙等设计的陶笛演奏机器人采用STC89C52RC单片机 8 ，通过零交叉率（ZCR）+阈值法判别3类音色，识别率为80.2%，满足低成本教学需求，但可扩展性有限。2023年，陈莎莎“为提高求解移动音乐机器人最优路径规划的求解精度和效率，提出了一种改进的乌燕鸥算法。该算法采用改进Logistic混沌映射初始化算法种群，保证种群的多样性” 9 。将改进的乌燕鸥算法用于移动古筝机器人路径规划，虽非直接音色识别，但指出机器人位姿变化会引入附加共振峰漂移，间接影响音色识别稳定性，为后续“机器人运动—音色耦合”研究提供了新问题。（见表1，代表性工作技术路线对比，扫描文首二维码）

从表1可见，深度学习路线在识别率上普遍优于传统机器学习路线5—10个百分点；模型尺寸、算力需求与机器人端侧资源的矛盾日益突出。此外，当前公开数据集多为单音、单技法采样，缺少“演奏级”连续乐曲与机器人同步采集的多通道数据，导致识别系统在真实表演环境下的鲁棒性不足。

综上，古筝机器人音色识别研究已初步形成三条技术路线。第一，传统“声学特征+机器学习”路线，以SVM、HMM为代表，识别率为85%～90%，但特征表征能力有限；第二，散射/CNN路线，以高阶时频不变特征为核心，识别率可达94%，但模型规模大、功耗高；第三，Transformer与知识蒸馏路线结合，兼顾精度与轻量化，识别率为91%～92%，在端侧部署上显示出潜力。

然而，现有工作仍存在以下共性局限与不足。首先，缺少面向古筝机器人场景的高质量同步数据集（音频、机器人状态、环境声学参数）；其次，颤音、滑音等微分音高特征未被充分建模，导致技法混淆；再次，模型轻量化与机器人端侧实时性（≤50ms）矛盾突出；最后，机器人运动引起的附加共振、噪声耦合问题研究不足。

一、古筝音色特征分析基础理论

古筝的音色含有丰富的谐波成分以及独特的音强变化，正是这些特性让它的音色与其他乐器得以区分，本文音色特征分析主要聚焦于从时域、频域、倒谱域等方面提取的特征参数。例如，时域特征包含波形幅度、过零率等；频域特征有频谱centroid、频谱rolloff、频谱flux等；倒谱域特征则存在梅尔倒谱系数等。这些参数可从不同视角描绘古筝音色的特质，为后续音色识别模型的训练给予数据支撑，古筝音色特征分析属于古筝机器人音色识别技术的关键部分，其重点在于从时域、频域和倒谱域等多个方面提取可以精确描绘古筝音色特点的参数，为后续音色识别模型的训练提供高质量的数据支持。（见表2，不同音色特征提取方法对比表，扫描文首二维码）

（一）时域特征分析

时域特征可直接体现音频信号于时间轴上的变化情形，它是进行音色分析的基础所在，常见的时域特征有波形幅度、过零率、短时能量等。波形幅度可直观地呈现音频信号的强弱变化，对于古筝音色来讲，其波形幅度出现的起伏状况可体现出演奏过程中力度方面的轻重变化，对音色的明亮程度与柔和程度产生影响。过零率用于衡量信号波形穿过零点的频率。在古筝音色中，过零率的变化和音符的起始、过渡以及滑音、颤音等不同演奏技巧紧密相关，较高的过零率一般对应着音色的快速变化以及丰富的细节表现。短时能量反映的是信号在短时间之内的能量积累，借助计算每一帧信号的能量总和，可捕捉到古筝音色在不同音符、不同演奏段落里的能量分布状况，为区分音色的强弱、持续时间等提供了关键的依据。

（二）频域特征分析

频域特征涉及音频信号的频率构成方面，可呈现出音色的谐波结构以及频谱分布特点。频谱centroid作为频域特征里的一个关键参数，它体现的是频谱的质心所在位置，反映出音色的“重心”频率。对于古筝音色来讲，频谱centroid的变动可呈现出音色的明亮程度与深沉程度，较高的频谱centroid意味着音色更明亮、清脆，而较低的频谱centroid会让音色显得深沉、醇厚。频谱rolloff指的是频谱在高频部分的衰减情形。它反映出音色里高频成分的丰富状况，古筝音色的频谱rolloff特征可分辨不同演奏技巧下音色的细腻与粗糙程度，比如在运用泛音演奏时，频谱rolloff比较平缓，音色显得空灵、悠远；在大力弹奏时，频谱rolloff比较陡峭，音色更加坚实、有力。 10 频谱flux衡量的是频谱随时间的变化速率。对于古筝音色来说，它可捕捉到音色在演奏过程中的动态改变，像滑音时音高变化引发的频谱流动、颤音时音高微小波动使得频谱抖动等，为音色识别提供了丰富的动态信息。

（三）倒谱域特征分析

倒谱域特征源自频域信号的对数功率谱，经傅里叶变换而得，可有效分离出能体现音色的激励源特征与声道特征。梅尔倒谱系数即MFCC，是倒谱域里极具代表性的特征之一，它依据人耳听觉感知特性，把频率依梅尔刻度做非线性映射，之后提取倒谱系数。古筝音色的MFCC特征能从听觉方面精确刻画音色的风格和情感表达，不同演奏者以及不同演奏风格下的古筝音色，在MFCC上会呈现出明显差异，可为音色识别模型提供很有区分度的特征参数。线性预测倒谱系数也就是LPCC，同样是倒谱域中的关键特征，其主要用于呈现信号的谱包络信息，能反映古筝音色的共鸣特性与音色的轮廓形状，可区分不同音区、不同音色质感的古筝音色。

（四）综合特征分析

与应用把时域特征、频域特征、倒谱域特征相互结合起来，就可较为全面且精准地刻画古筝音色所有的多维度特性。在对音色识别模型展开训练的过程当中，这些综合而成的特征可给模型提供丰富多样的信息，让模型可以去学习古筝音色当中存在的内在规律及差异。例如，要是把短时能量和时域包络分段比结合在一起，便可更准确地捕捉到音符的起始与结束，提高音符分割的准确性。将频谱centroid与MFCC相结合，可在频域及听觉感知层面同时针对音色展开分析，以此提高音色识别的鲁棒性。此外，这些特征还可被应用于古筝音色的情感分析、风格分类等领域，为古筝音乐的智能创作、演奏及欣赏提供理论方面的支持以及技术方面的保障。

综合来看，古筝音色特征的分析属于一个有多个维度、多个层次的过程，在这个过程里，时域、频域、倒谱域的特征彼此补充、相互协作，一起为古筝音色可被精准识别及深入理解构筑了坚实的基础。未来，随着特征提取技术持续地发展和创新，以及深度学习模型在音色识别领域的广泛应用，古筝音色特征分析会在古筝机器人演奏、音乐信息检索、音乐情感计算等诸多领域发挥更为关键的作用。

二、深度学习模型在音色识别中的应用

深度学习模型在音色识别领域呈现出强大的学习及分类能力。卷积神经网络也就是CNN，可自动提取音色的时频特征，在处理古筝音色图像数据方面有优势；循环神经网络即RNN及其变体长短时记忆网络（LSTM）、门控循环单元（GRU），适用于处理音色的序列特征，可捕捉音色随时间变化的动态信息。近年来，Transformer架构在音色识别中的应用也渐渐受到关注，其自注意力机制可有效建模音色特征之间的长距离依赖关系，提升模型的性能以及泛化能力。深度学习模型音色识别性能对比图以柱状图的形式，展示卷积神经网络（CNN）、循环神经网络（RNN）、长短时记忆网络（LSTM）、门控循环单元（GRU）和Transformer架构在音色识别准确率与模型训练时间这两个维度上的对比。横坐标是不同的深度学习模型，纵坐标分别是音色识别准确率（%）和模型训练时间（小时）。借助这种对比图，可清晰地看到不同模型在音色识别任务中的性能差异。比如，CNN在音色识别准确率方面表现优异，但模型训练时间相对较长；Transformer架构在准确率和训练时间上取得了较好的平衡。

（一）CNN在音色识别中的应用

CNN作为一种深度学习模型，它可依靠自动提取音频信号当中的特征，并且利用这些所提取的特征来进行分类，以此有效地处理音色识别任务。CNN的核心优势是其卷积层与池化层的组合，这种组合可自动提取音频信号里的局部特征，像频谱图中的短时能量变化就是其中一种。在音色识别工作中，CNN可以对音色的时频特征给予处理，先凭借卷积层提取音频信号里的局部特征，接着再依靠池化层减少特征数量，以此提高计算效率。比如说，CNN可把音频信号转变为频谱图，之后依靠卷积层提取频谱图中的特征，达成对不同音色的分类。

CNN处理古筝音色时，呈现出很强的特征提取与分类能力。它的卷积层可捕捉音色里的细微变化，像音色的亮度、柔和度以及不同演奏技巧下的音色差异，经过多层卷积和池化操作，CNN能逐渐抽象出更高级别的音色特征，而这些特征对区分不同音色的细微差别十分关键，而且CNN的双重共享机制让模型处理不同长度音频信号时效率更高、泛化能力更强，这对处理古筝演奏中复杂多变的音色序列意义重大。

在音色识别任务当中，CNN大多时候会和全连接层以及Softmax分类器搭配到一起使用。卷积层和池化层所提取出来的特征会被传送给全连接层，全连接层会对这些特征做组合和变换，最终经由Softmax分类器输出关于音色的分类结果。这样的一种结构可让CNN充分借助音频信号里的时频特征，达成高精度的音色识别。

为了能提高CNN在古筝音色识别方面的性能，研究者们还尝试运用了各类优化策略。比如说，借助增加卷积层的数量和深度，可提取出更为丰富的音色特征；借助引入Dropout和正则化等技术，可以防止模型出现过拟合现象，提高模型的泛化能力；借助数据提高技术，像音频信号的平移、伸缩和噪声添加等操作，可增加训练数据的多样性，提高模型的鲁棒性。

把CNN跟其他深度学习模型相结合，如RNN、Transformer架构，能提高音色识别的性能。 11 RNN在处理序列数据方面比较擅长，可以捕捉音色随时间变化的动态信息；Transformer架构则借助自注意力机制来对音色特征之间的长距离依赖关系进行建模。这些模型相互结合可充分发挥各自优势，实现更精确的音色识别与分类。CNN相关综述情况如图1所示。（见图1，CNN在音色识别中的应用汇总图，扫描文首二维码）

CNN在音色识别中的应用具有显著优势。首先，CNN能够自动学习音频信号中的复杂特征，无须人工设计烦琐的特征提取器；其次，CNN在处理图像数据方面表现出色，能够自动学习图像中的局部特征，这使得它在处理音色的时频特征时具有独特的优势。然而，CNN在处理长序列数据时存在一定的局限性，因为它缺乏对时间序列的动态建模能力。 12 为克服此局限性，研究者常把CNN与其他深度学习模型相结合，如RNN及其变体，以便充分发挥各自优势。RNN处理序列数据能力强，能捕捉音色随时间变化的动态信息，这对音色识别任务十分关键，结合CNN和RNN，可构建一个深度学习模型，它既能提取复杂特征，又能处理时间序列数据，提高音色识别的准确性与鲁棒性。 13

在古筝音色识别的实际应用里，CNN大多时候被用来提取音频信号的频谱特征，要把音频信号转变为频谱图，接着借助CNN的卷积层和池化层自动提取频谱图里的局部特征，这些特征包含了音色的频域特性，如频谱centroid、频谱rolloff等，对区分不同音色的细微差异有着关键作用。 14 随后，把提取出的特征传送给RNN或者其变体，以此捕捉音色随时间变化的动态信息，RNN的循环结构可让它处理任意长度的序列数据，并且依靠隐藏状态传递序列中的信息，这对理解古筝演奏中复杂多样的音色序列十分关键。

为了让音色识别性能有提升，研究者探索了好些优化策略，像运用注意力机制来让模型对关键特征的关注度得到提高，以此提升音色识别准确性，注意力机制能使模型处理输入数据时动态调整权重，去关注更关键的特征。 15 在古筝音色识别任务里，注意力机制可协助模型更精准地捕捉演奏技巧、情感表达等关键信息，提升音色识别效果。CNN在音色识别中的应用具体情况如图2所示。（见图2，CNN在音色识别中的应用汇总图，扫描文首二维码）

总体来看，CNN用于古筝音色识别有优势但也有局限，结合RNN或其变体并采用优化策略，能提升其音色识别性能与鲁棒性。未来随着深度学习技术持续发展创新，古筝音色识别技术会在古筝机器人演奏、音乐信息检索等领域发挥关键作用。

（二）RNN及其变体在音色识别中的应用

RNN及其变体LSTM、GRU，在音色识别领域有着广泛的运用。RNN对于处理时间序列数据格外适用，可以捕捉到音色随着时间变化而产生的动态信息；LSTM和GRU作为RNN的变体，可有效地解决传统RNN在长时间序列里出现的梯度消失问题，以此来提升模型的性能。

在时域特征分析这一方面，此方法虽然有直观的特点并且计算起来较为简便，但是对于复杂音色的区分能力存在一定的局限性；频域特征分析可对音色的频谱特性进行揭示，但是容易受到噪声的干扰；倒谱域特征分析借助分离激励源与声道特征，为音色识别提供了更为精细的特征参数，然而它的计算复杂度相对而言比较高。 16 在实际的应用过程当中，研究者们一般会依据具体的需求来挑选合适的特征提取方法，或者将多种方法结合起来进行综合的分析，以此来提升音色识别的准确性与鲁棒性。

在音色识别这项研究里，RNN及其变体可对音色的序列特征给予处理，捕捉到音色随着时间推移而产生的变化。比如，LSTM借助其别具一格的门控机制，可以有选择性地留存或者舍弃信息，以此更有效地捕捉音色的动态变化情况；GRU依靠简化LSTM的门控机制，使得模型的训练效率得到了提升。这些模型在处理音色序列特征方面表现优异，可捕捉音色的动态变化，提升音色识别的精准程度。不过RNN及其变体在处理长序列数据时存在一定的限制之处，由于其循环结构，RNN在处理长序列数据时容易出现梯度消失或者梯度爆炸的问题。 17 尽管LSTM和GRU借助引入门控机制解决了这一问题，但是它们在训练过程中依旧需要大量的计算资源。

在针对古筝音色识别这项任务中，RNN及其变体呈现出了颇为独特的优势，它们有处理音色序列特征的能力，可以捕捉到音色随着时间推移而产生的细微动态变化。而这对于理解古筝演奏过程中的音色变化而言有着相当关键的意义，借助其内部所拥有的循环结构，RNN可留存对之前时间步信息的记忆，并且运用这些信息来对当前时间步的音色实施分类操作。正是这种能力，让RNN在处理有时间序列特性的音色数据时有着较为出色的表现。

LSTM属于RNN的一种变体，它依靠引入输入门、遗忘门和输出门这三个门控机制，有效解决了传统RNN在长时间序列里出现的梯度消失问题，这让LSTM可捕捉音色的长期依赖关系，提升音色识别的准确性。 18 在古筝音色识别方面，LSTM可处理由古筝演奏所产生的长序列音频数据，捕捉音色随时间的动态变化，显示音色的渐变、颤音等细腻特征。GRU是RNN的另外一种变体，它依靠简化LSTM的门控机制，提升了模型的训练效率，GRU把LSTM中的遗忘门和输入门合并成一个更新门，同时引入了重置门来控制历史信息的保留程度。这种简化的结构使GRU在保持LSTM性能的情况下，有更快的训练速度以及更少的参数数量。在古筝音色识别中，GRU同样可捕捉音色的序列特征，达成高精度的音色分类。 19

为能提高RNN及其变体在古筝音色识别方面的性能，研究者们进行了各类优化策略的尝试。比如说，借助引入注意力机制，提高模型对关键特征的关注程度，以此提升音色识别的准确程度；采用Dropout和正则化等技术，防止模型出现过拟合现象，提高模型的泛化能力；运用数据提高技术，增加训练数据的多样特性，提高模型的鲁棒性能。这些优化策略的运用，让RNN及其变体在古筝音色识别任务里有了更好的表现。具体情况如图3所示。（见图3，RNN及其变体对于音色识别的应用汇总图，扫描文首二维码）

（三）Transformer架构在音色识别中的应用

近些年来，Transformer架构于音色识别里的应用渐渐受到了关注，Transformer架构最关键的是自注意力机制，它可有效地对音色特征间的长距离依赖关系进行建模，以此提升模型的性能和泛化能力。自注意力机制让模型在处理每一个时间步时，可同时顾及其他时间步的信息，捕捉音色的全局特征。在音色识别当中，Transformer架构可处理音色的全局特征，捕捉音色特征之间的长距离依赖关系。 20 比如，Transformer架构可借助自注意力机制，同时考量音色在不同时间步的特征，更优地理解音色的全局结构。这种全局建模能力使Transformer架构在处理长序列数据时有优势，可提高音色识别的准确性与鲁棒性。

然而，Transformer架构于音色识别里的应用也存在一些挑战，Transformer架构模型有较高的计算复杂度，对计算资源及内存有着大量需求；Transformer架构模型的训练所需时间较长，在实际应用中这或许会对其使用形成限制。即便如此，Transformer架构在音色识别领域的应用前景依旧广阔，在处理长序列数据以及全局特征方面有着独特优势。 21 深度学习模型音色识别性能对比分析为能更深入地理解不同深度学习模型在音色识别中的性能差异，可借由对比分析这些模型在音色识别准确率与模型训练时间这两个维度上的表现来达成。 22 比如，CNN在音色识别准确率方面表现优异，但模型训练时间相对偏长。RNN及其变体在处理音色的序列特征时表现良好，可捕捉音色的动态变化，然而存在梯度消失或者梯度爆炸的问题。LSTM和GRU凭借引入门控机制解决了该问题，不过训练时间依旧较长。Transformer架构在音色识别中呈现出强大性能与泛化能力，可捕捉音色特征间的长距离依赖关系，只是计算复杂度较高且训练时间较长。 23

借助这种对比分析手段，可较为清晰地察觉到不同模型在音色识别任务里的性能差别。举例来讲，CNN适宜处理音色的时频特征，不过欠缺对时间序列的动态建模能力。RNN及其变体适合处理音色的序列特征，然而存在梯度消失或者梯度爆炸的状况。 24 Transformer架构在处理长序列数据以及全局特征方面有一定优势，只是计算复杂度相对较高，训练所需时间也较长。这些对比分析为挑选恰当的深度学习模型提供了关键参考，可在实际应用中依据具体需求选出最为合适的模型。深度学习模型在音色识别中的应用与对比分析如图4所示。（见图4，深度学习模型在音色识别中的应用与对比分析汇总图，扫描文首二维码）

综合来看，深度学习模型于音色识别领域呈现出颇为强大的特征学习以及分类能力，如CNN、RNN及其变体、Transformer架构等模型，在音色识别方面均存在各自的优势与局限性，借助对这些模型性能展开对比分析，可挑选出最为适宜的模型，以达成音色识别任务。未来的研究方向应当探寻更为有效的特征提取方法以及模型架构，强化跨领域融合，提高音色识别在实际演奏场景中的性能与稳定性，推动音色识别技术持续发展与创新。

三、音色数据库建设

音色数据库的构建对音色识别技术的发展有着关键作用。一个有高品质、大规模特点的古筝音色数据库，应当囊括不同演奏者、不同演奏技巧、不同风格以及不同情感表达的音色样本，这些样本要经过严谨的预处理与标注，以此来保证数据的一致性和准确性。比如说，针对音色样本开展采样率统一、噪声去除、数据归一化等预处理工作，同时标注演奏技巧、风格、情感等信息，便于模型的训练与评估。如下所示的表3与表4是同音色数据库规模对比表。（见表3，数据库A、B、C、D标签词说明表，扫描文首二维码）（见表4，同音色数据库规模对比表，扫描文首二维码）

表3、表4详细呈现了不同音色数据库于样本数量、采样率、预处理方式以及标注信息等方面所存在的差异，经对比可发现高质量的音色数据库应当有如下特点：其一，样本数量要充足，可涉及广范围的演奏者、演奏技巧、风格和情感表达，以此来保证模型的泛化能力；其二，采样率需统一且足够高，这样才可准确抓取音色的细节特征；其三，预处理方法应科学且有效，可将噪声去除、数据归一化，提升数据质量；其四，标注信息要详尽且准确，可为模型的训练及评估提供有力支撑。在构建古筝音色数据库时，应严格依照上述标准，从大量不同来源收集音色样本，并开展细致的预处理与标注工作，从而成功搭建起一个高质量且大规模的古筝音色数据库。此数据库给深度学习模型的训练及评估给予有力支撑，为推动古筝音色识别技术发展奠定坚实基础。

由此可见，为保证音色数据库有效可用，我们需要采取多种质量控制措施。首先，重视数据库全面性，让样本覆盖不同古筝种类、材质及制作工艺产生的音色，以此充分呈现古筝音色多样性。其次，构建完善的数据库管理系统，对音色样本进行科学分类并高效检索，方便研究人员快速获取所需数据。如严格筛选和审核音色样本，保证样本真实且具代表性；标准化管理预处理和标注过程，保证数据一致且准确；定期更新维护数据库，保证数据有时效性和完整性。这些举措提高了古筝音色数据库的质量与可用性，为音色识别技术发展提供了有力支撑。此外，还要持续更新扩充数据库，及时纳入最新音色样本和研究进展，保证数据库有时效性和前瞻性。

四、跨领域融合发展趋势

古筝机器人音色识别技术和音乐信息检索、情感计算等领域的融合程度日益加深，在音乐信息检索领域当中，音色识别技术可运用在古筝音乐的分类、检索及推荐系统里面，帮助用户迅速且精准地寻得所需的音乐资源。在情感计算层面，借助对古筝音色情感特征的剖析，达成对演奏情感的自动识别与生成，赋予古筝机器人智能演奏情感表达的能力，让其演奏更趋近于人类艺术家的演奏风格。如下所示的表5为古筝机器人音色识别技术跨领域应用情况表。（见表5，古筝机器人音色识别技术跨领域应用情况表，扫描文首二维码）

（一）数据预处理阶段的关键步骤

在数据预处理阶段，若要对音频数据开展标注与分类工作，有如下可行办法：需明确标注与分类的目标；要清晰知晓音频数据的具体用途，如用于音乐创作或者音效设计等领域；确定标注与分类所应达到的详细程度，如对于音乐的分类，可划分成大类——古典、流行、摇滚等类别，还可以细分出小类——古典音乐里的巴洛克、古典主义、浪漫主义等风格，应依据实际情形挑选适宜的分类层次。挑选标注与分类的方式，涉及手动标注、自动标注、混合标注这几种。手动标注是借助人工聆听音频，依据事先确定好的标准来实施标注，这种方式适用于数据量相对较少的情形；自动标注借助机器学习算法以及音频特征提取技术，对音频进行自动的标注与分类，适用于数据量较大的状况；混合标注则是融合了两者的优势。而对标注与分类进行质量控制，可凭借人工审核、交叉验证等手段，针对标注与分类的结果实施质量控制，保证标注的准确性与一致性。

在音色数据库的构建过程中，预处理属于极为关键的一个步骤。预处理方法的选择，对于模型的性能而言有着非常关键的意义，恰当的预处理方法可提升模型的准确性，还可降低模型训练所需的时间成本以及计算资源消耗。首先，运用自动标注算法开展初步标注，随后由人工进行审核与修正；其次，要建立标注与分类的规范、制定标注与分类的标准、构建标注与分类的词汇表，还要对标注人员展开培训，以此保证标注的一致性、准确性以及高效性和稳定性。例如，对音频数据进行重采样就是常见的预处理步骤之一，其会把音频重采样至模型预期的采样率，以此来保证数据的一致性。此外，过滤数据集也是预处理的关键环节，可凭借将不符合要求的音频示例过滤掉——过长的音频等，以此来提升数据集的质量。

（二）选择标注与分类的方法

手动标注需借助人工听辨音频，并依据预先设定好的标准来开展标注工作，这种方式适用于数据量相对较小的情形；自动标注则是借助机器学习算法以及音频特征提取技术，以此对音频实施自动标注与分类，该方式适用于数据量较大的状况；混合标注综合了手动标注和自动标注两者的长处，先运用自动标注算法展开初步标注，随后由人工给予审核与修正，此方式适用于数据量较大同时对标注质量有着较高要求的情形。 25

在标注这一环节上，自动标注算法尽管运行速度快，然而其准确性或许会相对低一些，故而需要开展人工审核以及修正工作；手动标注虽说准确性较高，但工作量较大，这种方式适用于数据量较小的情形；混合标注方式融合了两者的优势，先是运用自动标注算法开展初步标注，随后再由人工进行审核与修正，该方法适用于数据量较大并且对标注质量有着较高要求的状况。

（三）数据标注与分类的实践

在构建音色数据库时，数据的多样性与代表性不容忽视，一个优质的音色数据库应收纳不同演奏者、各种演奏技巧、多样风格以及不同情感表达状态下的音色样本。 26 以古筝演奏技法GZ_IsoTech数据库为例，该数据库含有2824个古筝单技法音频片段，这些片段覆盖了古筝音域内的音调以及最常用的技法。这些音频片段被划分成8类，其中有颤音、上滑音、下滑音等，每一种演奏技法都配有若干相应的音频。

（四）数据标注与分类的规范

数据进行标注与分类时同样需要依照一定规范，就拿音乐风格分类来说，可以去制定清晰明确的定义及特征描述，以便标注人员能精准判断音乐的风格类型。至于音效分类，则可依据音效的来源、用途、特点等多方面因素来开展分类工作，制定出相应的分类标准及示例。在针对标注与分类的质量控制环节，人工审核属于保障标注准确性与一致性的关键手段。此外，可以借助对比自动标注和手动标注的结果，找出其中存在的差异，然后展开分析并给予修正；交叉验证方法也可切实提升标注的质量及可靠性，降低标注误差。

音色数据库的建设是一个复杂的过程，其中涉及数据采集、预处理、标注与分类等多个环节，经由合理的预处理方法、规范的标注流程以及严格的质量控制等，可建成高质量且大规模的音色数据库，为音色识别技术的发展提供有力支持。

五、总结与展望

在当下的音乐技术范畴，有关古筝机器人的音色识别技术已有颇为引人注目的成果，这些成果主要呈现于特征提取的精准程度、模型构建的创新之处以及在实际运用中的有效表现情况。经由研究人员持续不断地付出，已然可从古筝的演奏中提取出丰富多样的音色特征，并且借助这些特征构建出可精准识别不同音色的模型。这些模型在古筝机器人的演奏过程中得以应用，促使机器人可更为逼真地模拟人类演奏者的技巧与风格。

然而，古筝机器人音色识别技术依旧遭遇着一些挑战和问题，其音色特征的多样性与复杂性给特征提取造成了较大阻碍；古筝的音色会受演奏技巧的影响，还跟乐器自身的材质、结构及演奏环境等因素紧密相连，这些因素使音色特征的提取变得繁杂多变。现有的模型虽说在一定程度上可实现音色识别，但其可解释性有待提高。换言之，我们大多时候难以清楚地阐释模型是怎样识别出特定音色的，这在一定程度上对模型的优化与调整形成了限制。同时，实时性也是一个不可忽视的问题。在实际演奏过程中，音色识别需要快速且准确地开展，以此保证演奏的流畅性与自然性，然而当前的音色识别技术在实时处理方面仍存在一定的局限。

面对上述挑战，未来研究方向应聚焦于以下几点：其一，要深入探寻并研发更高效的特征提取方法，此类方法需能精准捕捉音色的细微差异，且能适应不同演奏环境与条件的改变；其二，模型架构的创新是提升音色识别性能的关键所在，研究者应尝试构建更复杂精细的模型，以此提高模型的可解释性与准确性；其三，跨领域融合是推动技术发展的关键路径，将音乐学、声学、计算机科学等多学科研究成果相结合，可为音色识别技术带来新视角与方法；其四，提升音色识别在实际演奏场景中的性能与稳定性，是实现古筝机器人演奏技术持续进步与创新的必要前提，这要求研究者不断测试并优化模型在真实演奏环境中的表现，保证古筝机器人在各类复杂演奏场合可保持高水平演奏质量。

综上所述，古筝机器人音色识别技术虽说已取得一些成果，但前行之路尚远，需要持续推进技术创新以及跨学科合作。我们有理由确信，未来古筝机器人演奏技术会迈向一个全新高度，为音乐艺术发展增添更多的可能性。

脚注

1.Jim Murphy, Ajay Kapur and Dale Carnegie. Musical Robotics in a Loudspeaker World: Developments in Alternative Approaches to Localization and Spatialization. Leonardo Music Journal, 2012, Vol.22, p.45.

2.Marek Janusz Pluta, Daniel Tokarczyk and Jerzy Wiciak. Application of a Musical Robot for Adjusting Guitar String Re-Excitation Parameters in Sound Synthesis. Applied Sciences, 2022, Vol.12, p.1659-1.

3.Craig Vear. Creative AI and Musicking Robots. Frontiers in Robotics and AI, 2021, Vol.8, p.631752-1.

4.周莉、张伟民、郑嘉丽等：《扬琴自动演奏机器人机械臂设计》，《机械设计与制造》，2018年，第1期，第251页。

5.吴文莉：《音乐风格和节拍识别及其在表演机器人上的应用》，2020年东华大学硕士学位论文，第Ⅰ页。

6.张婷：《基于节拍识别的音乐表演机器人构建研究》，《自动化与仪器仪表》，2022年，第12期，第211页。

7.戴培：《面向STEAM教育的音乐机器人系统》，2023年华南理工大学硕士学位论文，第Ⅰ页。

8.孙龙、安杰、张嘉哲等：《陶笛演奏机器人的设计》，《自动化应用》，2019年，第8期，第138页。

9.陈莎莎：《基于改进乌燕鸥算法的移动音乐机器人路径规划》，《机械制造与自动化》，2023年，第3期，第202页。

10.赵越喆、吴硕贤、邱坚珍等：《中国筝的声功率级测试》，《应用声学》，2009年，第5期，第330-335页。

11.Tianyu Chen. Large Model-Enhanced CNN-Transformer Architecture for Adaptive Music Quality Classification in Wireless Communication Networks. Internet Technology Letters, 2025, Vol.8, No.6, p.70156-1.

12.Chen Li, Xianwei Zheng, Chuangquan Chen, et al. Tiny Data is Sufficient: A Generalizable CNN Architecture for Temporal Domain Long Sequence Identification. IEEETransactions on Neural Networks and Learning Systems, 2025, Vol.36, No.7, p.12977.

13.Emre Cakir, Giambattista Parascandolo, Toni Heittola, et al. Convolutional Recurrent Neural Networks for Polyphonic Sound Event Detection. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2017, Vol.25, No.6, p.1291.

14.Youness Atif. Audio-to-Image Encoding for Improved Voice Characteristic Detection Using Deep Convolutional Neural Networks. arXiv preprint arXiv, 2025, 2503.05929, p.1.

15.M.Soundarya, S.Anusuya and R.D.Kumar. Enhancing the Audio MNIST Classification Process Through the Extraction of Temporal Features Through the Application of 1D-CNN and Attention Mechanisms. 2024 International Conference on Communication, Computing, Smart Materials and Devices (ICCCSMD), New York: IEEE, 2024, p.1.

16.Zhiyao Duan, Bryan Pardo and Laurent Daudet. A Novel Cepstral Representation for Timbre Modeling of Sound Sources in Polyphonic Mixtures. 2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), New York: IEEE, 2014, p.7495.

17.Sepp Hochreiter and Jürgen Schmidhuber. Long Short-Term Memory. Neural Computation， 1997, Vol.9, No.8, p.1735.

18.Jing Wang, Nasir Saleem and Teddy Surya Gunawan. Towards Efficient Recurrent Architectures: A Deep LSTM Neural Network Applied to Speech Enhancement and Recognition. Cognitive Computation, 2024, Vol.16, No.3, p.1221.

19.Tasnim Akter Onisha, Jongyeop Kim and Jongho Seol. Multi Label Sound Classification using Deep Learning Models. 2024 IEEE/ACIS 22nd International Conference on Software Engineering Research, Management and Applications (SERA), 2024, p.129.

20.Sara Atito, Muhammad Awais, Wenwu Wang, et al. ASiT: Audio Spectrogram vIsion Transformer for General Audio Representation. arXiv preprint arXiv, 2022, 2211.13189, p.1.

21.Khalid Zaman, Kai Li, Melike Sah, et al. Transformers and Audio Detection Tasks: An Overview. Digital Signal Processing, 2025, Vol.158, p.104956.

22.Juncheng B Li, Shuhui Qu, Po-Yao Huang, et al. AudioTagging Done Right: 2nd Comparison of Deep Learning Methods for Environmental Sound Classification. arXiv preprint arXiv, 2022, 2203.13448.

23.Atito, Awais, Wang, et al. 2022, 2211.13189.

24.Boxuan Yue, Junwei Fu and Jun Liang. Residual Recurrent Neural Networks for Learning Sequential Representations. Information, 2018, Vol.9, No.3, p.56.

25.Mingkuan Liu, Chi Zhang, Hua Xing, et al. Scalable Data Annotation Pipeline for High-Quality Large Speech Datasets Development. arXiv preprint arXiv, 2021, 2109.01164.

26.Yu Zhang, Changhao Pan, Wenxiang Guo, et al. GTSinger: A Global Multi-Technique Singing Corpus with Realistic Music Scores for All Singing Tasks. Advances in Neural Information Processing Systems 37, NeurIPS, 2024.

文章来源：《中国音乐》2026年第3期书评与述评第196-208页（总第199期）