基于VR技术的湘绣针法动作识别与评价研究

关键词：湘绣；动作识别；集成学习算法

湘绣作为中国传统的手工艺品之一，具有悠久的历史和独特的艺术价值，湘绣的精细绣花技艺和独特的针法动作在传承和发展过程中是非常关键的[1]。然而，当前的湘绣针法动作识别和评价主要依赖于人工经验和主观评定，这样存在识别准确性低等问题[2]。为解决这些问题，设计面向湘绣针法动作监测的可穿戴式动作捕捉系统对针法动作的数据进行采集、分析和量化评估，首先，对动作捕捉技术的主要研究方法进行分析，使用可穿戴式设备采集湘绣动作数据，使用主成分分析方法降维对数据进行预处理操作，然后，使用集成学习算法对针法动作时相进行划分，最后，使用不同的针法动作序列组合进行训练，并计算其准确率，对有效地识别和评价湘绣主要针法动作具有重要的理论和实践意义。

1 动作捕捉技术主要研究方法

1.1 基于视频图像的研究方法

近些年，相关研究人员设计了视频分析软件用来辅助动作解析[3]，比如一些操作简单，但功能丰富的开源视频分析软件，它可以检测人的移动速度、位移和角度，甚至可以跟踪运动对象的移动轨迹。视频法作为传统的动作分析方法，不需要用户佩戴任何设备，轻松方便获得动作数据。但是，此方法在分析过程中，需要评价人员逐帧去观看视频数据，凭借经验判断用户的针法好坏，它受限于拍摄帧率、视频清晰度、遮挡、拍摄角度等问题，存在测量误差，多角度拍摄需要耗费大量的人力成本。

1.2 基于光学动捕技术的研究方法

光学动作捕捉技术也被很多研究者进行了大量的研究，它可以通过移动路径还原受试者的动作姿态，需要使用红外高清摄像头来捕捉移动路径，在测试过程中，需要测试人员穿戴特制的衣服，并且在身体的某些关节部位设置若干特殊的反光标志点。例如：A.G.Kirk设计了一种算法能够从光学动作捕捉系统中自动提取测试者的骨骼结构数据模型[4]。它具有测量精度高的优点，但是也存在缺点，比如价格昂贵，并且易受外部环境影响；比如光线、反光物和遮挡，从而导致使用范围有限。

1.3 基于惯性动捕技术的研究方法

惯性动捕技术广泛应用于动画、视频制作、游戏、运动分析、康复评估等领域[4]。北京诺亦腾科技有限公司（Noitom Technology） 作为国内一家从事惯性动作捕捉技术研究的公司，开发了一系列具有完全自主知识产权的动捕产品，结合远程通信的可穿戴式设备，采样频率高、精度高、体积小、重量轻，满足本文湘绣动作采集的实际需要。

2 动作姿态表示

2.1 数据采集和预处理

使用诺亦腾的动捕手套采集使用者身上的关键节点针法动作数据，对高维特征数据需要进行预处理操作，尽管在处理高维特征数据降维中，会存在一定的信息丢失，但是可以降低计算的运算成本。因此，可以采用数据降维方法对数据进行预处理。目前常用的数据降维方法有主成分分析[5]，它的算法描述如下：

2.2 骨骼模型建立

根据近似人体解剖学理论，将绣工双手定义12段骨骼结构（左手掌、左拇指、左食指、左中指、左无名指、左小指、右手掌、右拇指、右食指、右中指、右无名指、右小指），通过分析湘绣动作发现，主要参与动作的骨骼有左大拇指、左食指、右大拇指、右食指，因此诺亦腾的动捕手套Hi5测量运动数据时主要采集左手掌、左大拇指、左食指、右手掌、右大拇指、右食指6个节点数据（如图1所示）。测试前须根据绣者的实际情况测量中指骨骼长度，以便获取更准确的信息。

2.3 姿态表示

姿态解算方法主要有方向余弦、欧拉角和四元数三种表示方法，欧拉角法在求解过程中不仅会涉及大量的三角运算计算，而且存在万向节死锁的现象。方向余弦法和四元数法两种方法可以避免万向节死锁问题，但是方向余弦法在求解过程中有9个未知参数，计算量大，不及四元数法简便，因此，在本文中使用四元数法。四元数由实数及3个虚数单位i、j、k 组成，是在复数的基础上形成的超复数概念，四元数主要有共轭、加减、乘法、数乘、求逆等运算操作。

3 湘绣针法动作时相划分

3.1 湘绣针法动作周期相位定义

刺绣动作周期相位的定义是按照针尖与布面的位置、针与丝线之间的位置关系综合确定的，本文以打子针为例采用了5相位划分法，根据行针轨迹周期细分相位为如下：

1） 出针相：针尖朝上刺出布面。

2） 上行相：右手捏住针尖向上抽线，直至丝线全部抽出布面。

3） 绕针相：左手执线，右手持针，使线缠绕于针腰处3圈及以上。

4） 入针相：针尖朝下刺出布面。

5） 下行相：左手捏住针尖向下抽线，直至丝线全部抽出布面。如图2所示。

3.2 特征提取与相位标注

机器学习算法需要利用特征提取的方法，从原始数据中获取主要信息。为了提高模型预测的准确性，需要有效的提取数据的主要信息，可以从时域或频域着手进行特征提取，选取打子针刺绣过程中的关节角度时间序列，切割成包含若干个样本的序列，然后从时域和频域两个角度提取若干个特征变量，特征提取的函数名称和详细描述如表1所示。

其中，每个特征元素分别来自出针相、上行相、绕针相、入针相和下行相的序列，首先按时间顺序同步向量打好标签，然后作为分类结果的真值，通过给所有的时间向量标注好标签，最终包含训练样本的数据集。

3.3 集成学习算法进行相位分割

针法动作相位分割主要根据刺绣针法过程中不同动作特点来划分，需要深入理解针法动作的特点和周期性，属于人体动作识别。传统的人工方式是采用标注法，目前最常用的相位划分法主要是基于机器学习的相位检测法和基于阈值设定的相位检测法。其中阈值设定的相位分割方法存在依赖数据阈值的选择，而且会受到外界信号噪声的干扰，面对不同的测试人群存在适应性较差和识别精度较低的问题。而基于机器学习的相位检测法可以解决阈值设定的相位分割方法的缺点，它的优点是鲁棒性较高和泛化能力强，因此，采用基于机器学习的相位检测法。

集成学习算法[7]通常组合多个机器学习算法共同来完成学习任务，它的基本思想是首先按照一定的规则将训练集划分为多个子数据集，然后使用每个子数据集去训练一个个体学习器，最后通过组合模块确定好最后的模型进行输出。集成学习模型可以通过集成各种机器学习算法的优点，从而使模型有更高的准确率，但是在训练过程复杂度也就增加了。如果需要使集成学习模型性能较高，则需要让每个个体学习器尽可能相互独立。当前常用的集成学习算法有Bagging 算法和Boosting 算法[8]，本文使用Bagging算法来处理湘绣针法相位多分类问题，算法描述如下：

1： for t =1，2，...T do

2： 从原始数据集D中经采样得到采样集Db 取前n个特征值所对应的特征向量ω1，ω2，...ωn 组成

3： ht=L（Db）;

4： end for

伪代码算法中，Db变量表示经过自助采样后从原始的数据集中得到的采样集，第2个步骤中需要依次循环n 次，计算得到一个采样集，它包含了n 个样本，第3个步骤则利用选取决策树训练基学习模型 L。循环T 轮后，就可以得到T 个基学习模型，再将这T 个基学习模型进行组合，利用投票的方法计算确认最终的输出。

4 实验结果与分析

4.1 实验环境

本次实验的主要硬件有网络交换机、高性能计算机、诺亦腾全新一代VR交互手套等，主要软件有Mi⁃crosoft Windows 10 操作系统、Axis Studio 开发工具、Unity 2020.3.27 编辑器工具、PyCharm 开发工具、Vi⁃sual Studio 2019开发工具等，算法实现基于开源的机器学习框架TensorFlow，编程语言主要采用python和C#语言实现。

4.2 评价指标

通常使用准确率（accuracy） 的参数指标来判断模型的优劣。准确率（accuracy） 定义公式为预测正确的样本数与样本总数的比值，如式（1） 所示。

4.3 结果分析

本文湘绣针法测试时要求用户按照习惯进行刺绣操作，参考学习视频刺绣动作做到标准，选取30名学生分成5组，每组6名学生，采集他们以打子针为例的300次刺绣数据，本文使用5折交叉验证的方法防止模型过拟合，计算平均准确率，对各相位的准确率进行统计分析，如表2所示。

从表2数据分析可知，5组学生在上行、入针和下行3个相位的准确率都超过了90%，在出针和绕针相位的准确率接近90%，对比实验结果分析，本文所提的方法具有有效性和可行性，此方案在湘绣针法动作的识别与评价方面取得了较好的效果。

5 结束语

本文主要对湘绣主要针法动作的识别与评价进行了研究，为湘绣技艺的传承与发展提供了重要的技术支持，未来的研究可以继续完善数据集的构建和引入更多的深度学习模型，以进一步提高识别和评价的准确性。此外，还可以将本研究方法应用于其他手工艺品的动作识别与评价，为传统手工艺品的保护和发展提供技术支持。