基于风格迁移与骨架化的书法字库自动化生成方法

作者: 张嘉 王志星

 基于风格迁移与骨架化的书法字库自动化生成方法0

关键词: 中文字库;风格迁移;骨架化处理;自动化生成;书法

中图分类号:TP181 文献标识码:A

文章编号:1009-3044(2024)28-0030-04

0 引言

中国书法历史悠久,是中国传统文化的瑰宝,也是世界艺术和创意的重要组成部分。中国书法拥有丰富的载体和表现形式,从由金属、石头、甲骨和其他坚固物质制成的文物雕刻或铸造的铭文,到竹简、草纸、宣纸记录的墨迹文字,再到20世纪计算机的发明导致了数字字体的出现,中国书法一直承载着其原始属性,即实用性、创造性、独特性、个性化和艺术性[1]。

数字书法字库最早的形式是位图字体,其次是轮廓字体,最后是可变字体[2]。然而,通过传统方法创建数字字库需要花费大量的人力物力,字体设计团队至少需要几个月甚至几年的时间来创建一个包含笔画、衬线和粗细的新字体库。英文字体的设计相对简单,因为英文字符数量有限,仅包含约200个字符,包括大小写字母、数字和符号。因此,设计团队能够在短时间内完成设计。然而,中文书法字库规模庞大,据统计现有汉字数量已超过8万个。汉字的字形结构复杂,风格多样,采用传统的人工设计方式创建完整的书法字库需要耗费巨大的人力物力。

随着人工智能和深度学习方法的兴起,专家学者们开始探索使用新兴技术解决以上问题。近年,基于条件生成对抗性网络(cGAN) 的方法提出了“图像到图像”的风格迁移框架“Pix2Pix”[3-4],其中的目标是在给定输入输出图像对作为训练数据的情况下,将一个域中的参考输入图像翻译成另一域中的目标输出图像。到目前为止,基于深度学习的研究仅将字体合成任务视为图像迁移问题,其目标是学习从训练数据集中的参考字体样式到海量字库的任何目标字体样式的映射。这种字体风格迁移方法存在一些问题,例如生成的字体图像模糊、伪影和不真实等,尤其是当目标字体样式与参考字体形状不同时问题尤其严重[5-8]。

本文提出一种将风格迁移和骨架化技术相结合的书法字库自动化生成方法,该方法可以将小样本汉字书法的风格转换为骨架结构,以确保字体生成时最少地受到非必要形状的影响。本文没有使用传统的图形到图形的风格映射,而是将书法字库生成任务分解为三个阶段:1) 书法单字图形预处理及字体-骨架提取;2) 字体-骨架风格训练;3) 骨架-字体风格迁移。

1 理论基础

1.1 骨架化技术

一种较为简单的图形骨架获取方式为图形内切圆圆心的计算,如图 1所示,汉字书法单字图像的局部形状可以等效为三角形或矩形,对于局部形状的棱角区域,通过距离计算不断迭代获取每一迭代步长下的内切圆并保存圆心和半径,循环往复,依次找到所有内切圆后,所有内切圆的圆心所连成的线条即为汉字的骨架,如图 2所示。

2 模型构建

2.1 模型整体结构

基于风格迁移和骨架化技术的书法字库自动化生成模型如图 3所示,为了使形状复杂、数量庞大的汉字书法在生成结果上具有结构和风格的一致性,笔者将模型分为几个子模块,包括书法单字图形预处理及字体-骨架提取、骨架-字体风格训练学习、骨架-字体风格迁移等模块。

2.2 子模块

1) 字体-骨架提取生成器

笔者利用字体-骨架提取生成器将待处理的书法单字图片数据集从原始图形转换为其对应的骨架图形,其输入为原始状态下的彩色书法图片,输出为仅包含黑白色的骨架化字形。提取目标骨架是使用基于Python 的模型生成的,该模型使用了文献[9]中提出的方法。之所以选择基于GAN 的骨架提取算法而不是仅仅使用1.1小节提到的内切圆算法,是因为纯内切圆算法生成的骨架存在一些问题(因书法笔画的交叉和衔接处较多,这些位置的内切圆圆心存在重叠交叉导致),例如骨架脱节、复杂图形骨架交叉等。

2) 骨架-字体风格训练器

骨架-字体风格训练器遵循从固定的小规模参考书法字体骨架图形中学习目标书法字体风格样式。参考字体即训练数据集。骨架-字体风格训练器的输入是参考字体骨架图形和参考字体原始图形,它通过编码器进行下采样以提取高级特征,形成参考字体骨架图形到参考字体原始图形的有效映射。在这里,笔者将风格向量与编码特征相结合(风格向量是一个高维向量,用于控制生成书法图像的风格,编码特征是将原始书法数据转换为机器可处理的格式的过程)。然后,通过一系列采样层以得到可以生成目标字体图像的迁移模型,具体原理如图 4所示。

3) 骨架-字体风格迁移生成器

骨架-字体风格迁移生成器相对简单,它的作用是将“骨架-字体风格训练器”得到的模型进行实际使用,他的输入为汉字骨架化图形或者手绘汉字图形等,输出为模型对应风格的书法图像(如图 5) ,最终完成对目标字体的风格迁移。在所有模块中,笔者使用相同的架构,但训练了不同的映射函数模型。

3 实验验证

3.1 实验数据集描述

中国汉字构造和字体形式多种多样,本文使用 3 位古代书法家的经典字体来验证模型(分别为颜真卿《多宝塔碑》、柳公权《神策军碑》、《黄庭坚手札十种》) ,数据集的具体情况如表 1所示。

笔者使用其中85%的字体数据来训练模型。为了测试模型的泛化能力,使用了剩余的15%未参与训练的字体图形作为测试集。

3.2 实验环境和配置

本文实验硬件和软件环境如表 2所示,配置输入和输出图像通道为3通道,判别器使用PatchGAN,残差块使用Dropout,参数设置为0.5,模型使用Adam训练模型,初始学习率为0.000 2,批量大小设置为1,损失参数均设为10。

3.3 实验结果

对于各个子模块,其中参考书法字体是给定字体字符的骨架和原始图形,本文使用了一个基于 Python 的模块来生成字体字符的骨架,根据最先进的骨架化数学算法生成骨架。然后通过视觉分析,笔者选择了文献[9]的骨架化方法来预训练模型,因为与内切圆算法等其他算法相比,该算法可以生成更加合理的字体骨架。得到的汉字书法骨架图形示例如图 6所示。

实验时,笔者根据参考域和目标域中汉字图形的整体风格和结构测试各种字体,以评估模型在生成不同样式的各种书法字体方面的多样性。通过利用测试集中这些未被用于模型训练的书法骨架图形,模型可以生成相同风格的更多汉字图形,也就是说,有了部分特定书法风格的图形样本,笔者的模型就可以通过这些样本来训练学习该风格的字体从而获得更大规模的汉字书法字库,即使是那些结构复杂且风格多变的字形。测试生成如图 7所示,其中左侧标记列为测试生成结果,右侧标记列为原始书法单字图像。

本文根据模型在3种数据集上的8次实验计算出相应的平均SSIM 和PSNR 值,SSIM和PSNR是对生成图片的相似度以及画质的客观评价指标,值越大说明生成图片和真实图片的相似度越高。额外,本文使用CycleGAN、Pix2Pix两种基线模型进行实验对比,结果如表 3所示,可以看到本文模型3种数据集上的8次实验平均SSIM 和PSNR 值等于或优于CycleGAN、Pix2Pix模型。

由于书法艺术的特殊性,本文研究并未使用过多的定量指标去严格评判生成结果的质量,但是由图 7中的结果可以看到,通过本文方法在对应书法骨架图形上所生成的结果图像质量非常接近于原始图像。另外,为了验证本文方法的泛化能力,笔者通过随机书写汉字骨架线条,验证在对应字体上的风格迁移能力,结果如图 8可见,生成结果虽不如对应书法家原始字形精美,但依然可明显分辨出风格特征,并且生成的结果字形能让人感受到较强的书法艺术风格特征,这恰好说明本文方法是切实可行的。

4总结

中文书法字库建设对于艺术设计、传统文化传承和创新具有重要意义。本文提出了一种基于风格迁移和骨架化技术的书法字库自动化生成方法,它可以扩展和创建特定风格的汉字书法字库。在颜真卿《多宝塔碑》、柳公权《神策军碑》、《黄庭坚手札十种》等风格的书法字体数据集上的实验结果表明,本文方法能够较好地生成特定风格的书法单字图形,并且可以扩展现有字体或字库中缺失的字符。未来,笔者将使用本文方法来学习多种风格的书法,这不仅可以提高模型的可扩展性和鲁棒性,还可以大大提高生成结果的多样性,同时,笔者还准备尝试建模能生成具有草书或更强艺术特征的高质量字体。

上一篇 点击页面呼出菜单 下一篇