基于动态密钥库的多机房监控数据安全传输及网络带宽压缩方法研究

作者: 胡誉腾 上官斌 许明先 李为

基于动态密钥库的多机房监控数据安全传输及网络带宽压缩方法研究0

摘要:多机房集中监控面临网络带宽高消耗与数据传输安全隐患。本研究结合动态密钥库与数据压缩技术,创新性地提出了一种高效安全的多机房监控数据传输方法,实现了97.12%的带宽压缩率,极大缓解了带宽压力;同时构建了数据传输的安全屏障,确保了传输过程的安全性。本研究成果为监控技术与IT运维提供了新思路与参考,对推动高效安全的多机房监控管理具有重要意义。

关键词:监控数据安全;带宽压缩;动态密钥库;多机房监控

中图分类号:TP393 文献标识码:A

文章编号:1009-3044(2025)04-0092-04 开放科学(资源服务) 标识码(OSID) :

0 引言

随着信息技术的飞速发展,多机房监控系统对保障业务连续性至关重要,但在跨地域复杂网络中,数据传输受带宽和安全限制,高效安全传输成为亟待解决的难题。传统的静态密钥库加密方法在动态网络环境及复杂攻击面前,其安全性明显不足。同时受到网络带宽限制,尤其是传输高峰时段,大量监控数据的传输实时性经常遭遇网络拥堵与延迟的困扰[1-2]。

针对上述问题,本文提出了一种基于动态密钥库的多机房监控数据安全传输及网络带宽压缩方法,旨在利用动态密钥库技术,实现密钥的实时生成、更新与分发,并融合高效的压缩算法和带宽优化策略,解决多机房跨地域复杂网络中数据的高效安全传输难题。

1 现有监控数据传输的技术缺陷

现有监控技术普遍使用TCP协议,因其可靠性和连接性,成为客户端到服务端数据传输的首选。监控系统客户端收集包括CPU、内存、网络带宽、磁盘I/O 等实时数据,并采用结构化或半结构化格式(如JSON、XML) 封装。随着监控点增多和数据更新加快,尤其是实时数据高频传输,会占用大量的网络带宽[3]。

针对带宽压缩和安全传输的需求,传统上常采用基于字典流的压缩技术。尽管此类技术能够实现较高的数据压缩率,有效减少网络传输中的数据量,但其固有的缺陷也愈发明显。

① 管理负担重:字典的创建、更新和维护需要人工干预,随着监控数据类型的多样化和复杂化,管理字典的工作量显著增加,对管理人员的技术水平和时间投入提出更高要求。

② 字典更新滞后:在快速变化的监控环境中,字典的更新往往难以跟上数据类型的变化速度,导致压缩效率下降或无法有效压缩新类型的数据。

③ 安全隐患:字典作为压缩算法的核心部分,一旦泄露,将极大地降低加密传输的安全性,使监控数据在网络传输过程中面临被解析、篡改或泄漏的风险。

2 基于动态密钥库的多机房监控数据安全传输及网络带宽压缩方案

2.1 整体系统架构设计

基于动态密钥库的多机房监控数据安全传输及网络带宽压缩架构如图1所示,分为代理侧和中心侧两块。

代理侧程序主要部署在机房代理服务器上,包含机房代理模块、本地密钥库、本地存储三大模块;中心侧包含监控对象管理模块、监控指标采集模块、消息队列、时序数据库、告警模块、对外查询模块以及动态密钥管理模块。

代理侧代理模块负责对接中心侧,获取监控对象信息并采集监控数据,同时利用本地密钥库进行数据压缩和加密。本地密钥库负责更新、存储密钥,并清理失效项。本地存储则短期保留加密数据。

中心侧监控系统通过多模块协同,实现高效安全的数据管理。监控对象管理模块配置采集任务,采集模块收集加密数据至队列,并与动态密钥管理协同保障安全。告警模块实时判定,解密符合条件数据,不满足则丢弃。时序数据库异步解密存储数据,对外查询模块提供接口共享数据,增强系统扩展与共享能力。

2.2 动态密钥库管理模块各功能流程

动态密钥库管理模块工作流程主要包含数据压缩加密、密钥库版本管理、数据解压解密等功能。

2.2.1 数据压缩加密

监控代理侧定时(根据告警响应及时性设置为60 s) 根据中心侧监控对象管理模块中的对象信息,采集本机房下各监控对象的性能指标数据,同时将指标数据的标识项对比本地密钥库进行压缩和加密,当本地密钥库匹配到密钥信息,则将标识项用本地密钥库中对应的key进行替换,并将结果放入本地缓存;当本地密钥库无法匹配到密钥信息,则直接将原始数据放入本地缓存,最后等待中心侧定时抓取本地缓存数据。如表1、表2、表3 所示。

2.2.2 密钥库版本管理

密钥库版本管理模块主要负责维护各代理侧不同版本的密钥库,在动态维护对应版本密钥库中密钥的增减的同时,也负责实时将最新变更的密钥下发至对应代理侧。这里密钥库版本管理系统默认24小时进行一次密钥替换。如图2所示。

①密钥库动态生成流程:

首先,对从各代理侧获取的监控数据进行动态比对及过滤,将已成功加密及压缩的数据(数据信息中带版本号) 过滤,留下未加密及压缩的数据。

其次,根据未加密及压缩的数据中标识项,生成新的32位UUID作为密钥中的key,将原来的标志项作为密钥中的value,同时以当前监控数据来源的代理侧密码库的最新版本号作为密钥中的version,至此,新的一条密钥数据已动态生成完毕。

接着,在中心侧的密钥库中找到所属该代理侧的对应版本密钥库,并将该条密钥数据写入。由于密钥库需兼顾存储与解压解密性能,故采用硬盘与内存双重存储方式。为提升解密效率,系统会动态加载密钥库至内存中,实现快速访问与更新。

最后,将新增的密钥数据下发至对应的代理侧密钥库供其加密压缩时使用。

②密钥库版本动态替换流程:

每个机房中每一条监控标志项在中心侧密钥库均有一份动态变更的记录,如表4。该记录会记录每一条监控标识项的机房、当前key、上一个key、当前版本号、剩余有效期等记录,当剩余有效期归零时,则会对该监控标识项生成新的key,并将新老key变更关系下发至各代理侧本地密钥库。

代理侧在接收到新老key变更关系后,在本地库对key进行更新,后续即用新的key作为压缩加密后的监控标识项进行监控数据上传。

2.2.3 数据解压解密

加密压缩后的数据在使用的时候,分为不同方式。

在做告警判定时,由于在做告警规则配置时同时保留了密钥中的key,所以采取先做告警判定,对满足告警条件的结果再通过密钥库进行解压解密。这样能以最快的时间触发监控告警。

在做监控数据存储时,通过实时消费消息队列中的加密压缩数据,同时依据密钥库并结合实时计算流程,进行实时解压解密,并存入时序数据库中,供对外查询模块使用。如图3所示。

2.2.4 密钥库版本更新策略

出于在数据在网络中传输的安全方面考虑,密钥库版本可进行定期更新。

首先,获取需要更新的代理侧对应的最新版本密钥库,用新生成的UUID批量替换密钥库中每条密钥的key,同时,给每条密钥打上对应最新的版本号。

其次,在中心侧加载并刷新最新版本的密钥库。

最后,将最新版本的密钥库下发至对应的代理侧。

3 物联网多机房监控实例应用

为保障物联网业务安全稳定运行,构建了跨9地12大中心机房的容灾体系,覆盖超过1 000个机柜和10 000台虚拟机。多机房集中监控架构如图4所示。

为实现分散机房资源的高效集中监控,选定西南A城机房为监控中心,集成了多项核心功能。包括但不限于监控对象的集中管理、监控指标的实时采集与高效处理、数据的安全解压与解密、动态密钥库的严格管理与维护,以及即时告警通知与详尽的监控指标查询服务。这些功能共同构成了监控体系的中枢神经,确保了对全局资源状态的精准把控与快速响应。

同时,在四大区域设立8个监控代理站点。专注于各自机房内部监控对象的细致监控,通过采集关键监控指标、实施数据压缩加密处理以及管理本地密钥库等措施,有效保障了数据在传输过程中的安全性与完整性。这一设计不仅减轻了中心侧的处理负担,还极大地提升了整体监控系统的灵活性与扩展性。

综上所述,通过构建这一高效、安全的异地容灾监控体系,不仅为物联网业务的稳定运行提供了坚实保障,还为未来的业务动态扩展与技术创新奠定了坚实基础。

4 成效评估

4.1 安全传输成效评估

4.1.1 数据隐匿性

UUID的随机性与唯一性:UUID是基于时间戳、随机数、机器MAC地址(在某些版本中) 等数据计算生成的,具有高度的随机性和全球唯一性。将监控项转化为UUID后,原始监控数据的具体内容被隐藏,攻击者难以直接从UUID中推断出原始监控项的内容,从而提高了数据传输的隐匿性[4-5]。

动态更新机制:动态密钥库默认每24小时更新一次监控项对应的UUID,进一步增加了攻击者通过UUID追踪或分析原始监控数据的难度。因为即使攻击者截获了某个UUID,它也只能代表该时间周期内的监控项,而无法长期追踪或关联到具体的监控数据。

4.1.2 防止数据泄露

减少敏感信息暴露:通过将监控项转化为UUID进行传输,可以减少在传输过程中直接暴露敏感监控数据的风险。即使数据在传输过程中被截获,攻击者也只能获取到UUID,而无法直接获取到有价值的监控信息。

增强传输层安全:在传输UUID时,可以结合使用传输层安全协议(如TLS/SSL) 来加密传输通道,确保UUID在传输过程中的安全性。这样,即使攻击者截获了传输数据包,也无法轻易解密获取其中的UUID信息。

4.2 带宽压缩评估

因为UUID是一个长度为128位的标识符,通常以32个十六进制数字(包括4个短横线后为36个字符) 的形式表示。所以它具有全局唯一性,可以在分布式系统中用来唯一标识一个监控项。

4.2.1 数据大小压缩

将原始数据格式的监控项转化为UUID后,最直接的效果是数据大小的显著减少。原始监控数据包含大量的标签信息,这些数据在传输时占用较大的带宽。而UUID作为一个固定长度的字符串,其大小远小于原始监控数据,因此可以有效降低带宽占用。

4.2.2 传输效率提升

由于UUID的大小远小于原始监控数据,因此在网络传输过程中,使用UUID可以显著减少数据传输的时间,提升传输效率。这对于需要实时监控和快速响应的物联网系统尤为重要。

在实际生产中对监控规模数万级、监控指标数亿级的电信行业多机房集中监控系统中,对其覆盖的数据库、中间件、操作系统、网络设备、存储、虚拟机和宿主机进行监控管理,采用动态密钥库的多机房监控数据安全传输及网络带宽压缩方法,带宽使用压缩成效对比见表5,实现了对带宽使用97.12%压缩率。

5 结束语

本文突破基于字典流的传统压缩技术中存在管理人员工作量较大、字典更新不及时、对硬件资源配置要求较高且字典一旦泄露后监控数据在网络传输过程中会存在安全隐患等一系列局限性,提出了基于动态密钥库的多机房监控数据安全传输及网络带宽压缩方法,从而对无人值守式的密钥库动态更新,实现监控数据的压缩及安全传输。本系统模型的应用实例证明了该体系结构的可实施性和有效性,能够指导多机房的大型监控系统在数据传输过程中降低带宽使用、提高传输的安全性,同时对其他数据格式相对固定的监控传输场景,都具有积极的借鉴意义。

参考文献:

[1] 朱健辉.基于SOA的公安社会信息管理系统设计与实现[D]. 成都:电子科技大学,2014.

[2] 曾晓松.一种基于CMDB平台的运维管理系统的研究[J].新一代信息技术,2021,4(13):26-30.

[3] 周岩.基于深度学习的网络流量识别技术研究[D].济南:齐鲁工业大学,2023.

[4] 麻书钦,范海峰.基于小波变换和时间序列的网络流量预测模型[J].河南理工大学学报(自然科学版),2013,32(2):188-192.

[5] 王鹤,李石强,于华楠,等.基于分布式压缩感知和边缘计算的配电网电能质量数据压缩存储方法[J].电工技术学报,2020,35(21):4553-4564.

【通联编辑:王力】

经典小说推荐

杂志订阅