互联网百科

安防行业云存储的关键技术

2019-08-16 10:11 资讯

 浙江大华技术股份有限公司研究院江文龙表示:针对安防行业的业务特性,的以下两大技术方向需要重点突破:

1.高效元数据组织和框架构建,解决大规模集群管理和海量文件的问题。

整个分布式系统中需要管理的节点数成百上千台,用户的一个真实文件会被分布在多台节点上,由多台节点负责承载真实数据的写入。在读取时需要经过元数据管理请求拿到数据位置信息,从而发起读取。而针对元数据请求的性能是逐级递归还是一次访问就能完成操作,是衡量整个系统性能的关键要素。

对于一个单独的大文件,是否能充分发挥读写性能,涉及拆分粒度问题。元数据服务作为核心,需要能在支持上千的节点、上万的客户端请求完成高速并发处理,这在最基础的协议框架和信令交互模型上就需要考虑齐全,通过超高协议序列化和反序列化性能、可扩展的协议设计、网络框架模型、任务处理模型这些底层基础件上一层层向上,在每个环节中都做到高效处理。一个合理元数的组织结构可以采用类型对象存储的分桶方式,让数据hash分布,实现文件的简单高效管理,对于桶内数据不需要采用类似传统目录树形式进行逐级的遍历,仅需一次定位就可以完成操作。

对于文件的数据块组织管理,一方面要控制较好的粒度实现IO能充分发挥多节点多磁盘的优势,另一方面需要降低元数据的管理压力,提升管理的集群规模数和文件数量。在存储节点上存在用户的数据块被切分成一段段落在各个磁盘内,系统长期运行或者重启、掉电、字节跳变等,需要能够将节点管理的数据块和元数据中的数据块进行比较,查出差异项完成修正,对于损坏数据提早触发恢复,这就要求元数据在组织合理,能够快速的查找到对应节点的元数据信息,并在比较处理过程中不影响其他的元数据实时访问和新增。

2.明确的读写模型对提供业务使用语义,解决视频和图片不同写入和读取要求。

常见的读写并非提供一个接口就行,需要有明确的读写语义。比如文件系统提供的是文件操作语义,按open/write/read/close模式,并支持seek和修改、追加的语义;S 接口提供的是putObject/getObject接口,按照一次完成上传,上传后可以见的语义;HDFS提供的是类似文件系统的操作语义,但不支持修改。

对视频而言,应该按照文件的语义但又无需支持追加和修改,仅需支持流式的写入,并支持边写边读,避免业务层需要开大缓存或者将视频文件缓存本地才能上传。对于图片写入方式也是同理,也应支持文件流方式写入。虽然看上去图片可以一次写入一张,但是现在的图片高清化可以有1MB或者更大,仅通过设置缓存大小完成应用程序的一张图写入,会出现云存储的客户端内的内存占用过大或者写入不够平滑会存在一顿一顿的效果并引发缓存满出现图片丢失问题。在读取上,对一张图片内数据没写入完成无需可读,但是整张写入完成是要立即可读。

再从文件名角度看,由于每张图片对应一条前端的抓拍记录,因此对图片地址可以随结构化记录一起存储,对于用户来说无需关系图片地址生成方式,这意味着图片地址可以由系统返回进行生成。对于视频流存储后形成的录像文件来说,使用方可以无需记录每段录像文件名,通过云存储提供的指定文件名能力,按照自定义的业务逻辑生成文件名,后续按照规则进行查询即可完成录像列表或者指定录像文件的回放。 

本文已标注来源和出处,版权归原作者所有,如有侵权,请联系我们。

日前,存储容灾服务(Storage Disaster Recovery Service,简称SDRS)于华为云杭州城市峰会正式转商发布。作为业界独家的云上跨可用区RPO=0(数据零丢失)黑 ,华为云布道师在发布会现场解读称:“经过8年的研发与实践,我们把支撑 000+企业IT灾备的Hyp

 •  2月前 人人都说,混合云/多云是未来。IDC曾预测,2018年,85%以上的大型企业都将采用混合云。RightScale发布的2018年云计算调查报告也显示出同样的趋势,81%的企业都有一个多云策略,其中又有51%的企业将专注于混合云。常常与一线客户打交道的UMCloud CTO王璞指出:“当前,虽然很多客户可能不会马上用到混

 •  月前 现在想要把自己喜欢的音乐存储在云端很容易,并且你也可以在任何地方通过网络访问它们。近年来的主流玩家都有类似的服务,如苹果的iCloud、Google Drive、亚马逊的Cloud等等。同时早期音乐存储先锋\nMP tunes也在继续做这件事。也许正是感受到了该领域正在逐步升温,另一家重要的创业公司\nAudioBox

部门仍在继续权衡内部部署存储与云存储的风险和收益,特别是在涉及组织的最关键数据时。在许多企业看来,采用云存储有利有弊。 本文首发于企业网D1Net,作者Lisa Morgan ;由亿欧编辑

 •  5月前 来源:天极 作者:嘉文云计算的发展势头正旺。最近两年,云计算的理念已经深入到各行各业,当人们说起云计算这个话题的时候,已经不再是“要不要上云计算?”而是“怎样上云?怎么上好云?”但是,当企业真正开始拥抱云时代,会給传统IT架构会造成多大冲击?传统IT架构能否称为上云的绊脚石?对于企业IT架构中关键的部分——存储来说,云

]有用户表示:“今天早上醒来时,我发现一位名叫特洛伊猎人的账号发来一封电子邮件,那封电子邮件告诉我,我的电子邮件地址是在一个黑客论坛上公开的772904991个电子邮件地址中的一个。考虑到这个数据转储的规模,很有可能您也会受到影响。” 腾讯科技讯 据美国媒体报道,日前微软公司一

 •  6月前 今天,在\n百度世界2012大会上,百度向参会者介绍了一系列与云计算和开发者相关的服务。百度创始人兼CEO李彦宏也发表了题为《云端有你 创享未来》的主题演讲,声称“云开发时代” 已经到来,百度将为开发者提供更多的云端服务。在这次大会上,百度一共推出了7款为开发者提供的\n云计算服务。其中包括之前推出的四款:百度个人云存

自然是有优缺点的,本文主要从场外管理、网络连接性、备份速度、部署、可扩展性、存储技术、前期成本这几方面阐述了它的优点,并仔细分析了它的终身成本、安全性、下载和数据传输速度、合规性、影响相邻用户这些缺点。 本文首发于企业网D1Net,作者Drew Rob

 •  8月前 \n云存储可谓如今最热闹的市场,除了像国外Google、亚马逊、苹果以及微软这样的巨头以及像Dropbox、Box这样的新兴创业公司外,国内也不乏众多巨头和创业公司进军这个领域,就连\n京东商城也开始推出自身的云存储服务JBox。但是所有这些企业的思路都差不多,也即打造自己的云存储产品,提供各种服务。而国外创业公司\n

专注科技资讯挖掘,通过关键词过滤科技资讯,提高阅读效率10倍以上。 网站定位极少数高效能人士,精准快速定位资讯,大大提高阅读效率。

标签: