对话戴尔胡渊汶:非结构化数据的价值如何释放

新兴技术的发展带来了海量数据的爆发,企业亟需更为高效的网络存储系统。与此同时,以闪存为代表的新一代存储介质出现,使文件、块、对象三种形式的存储进一步融合,在此背景下,更为贴合企业用户需求的分布式存储应运而生。
目前,互联网公司搭建的大数据处理平台,往往对实时数据和历史数据进行严格区分,但这样既带来了数据存储空间的浪费,同时也加大了应用程序开发的负担。
在此背景下,以戴尔易安信ECS为代表的对象存储平台凭借其“可扩展性能、容量、数据安全、操作性”等特性成为了释放数据红利和价值的有效解决方案。
此次,比特网有机会与戴尔科技集团大中华区非结构化数据存储事业部技术总监胡渊汶聊一聊戴尔易安信ECS和非结构化数据存储的那些事儿。
对话戴尔胡渊汶:非结构化数据的价值如何释放
文章插图
戴尔科技集团大中华区非结构化数据存储事业部技术总监胡渊汶
对象存储正当红
近年来,席卷全球的数字化浪潮颠覆了各行各业固有的生产和运行方式,使得很多业务模式面临严重挑战。目前,利用非结构化存储实现业务数字化,进而实现业务转型正是业内普遍认可的方式。因此,如何寻找到正确的存储方式成为企业搭建现代化信息平台的焦点。
2019年的IDC报告指出,到2023年全球的数据总量会达到当时数据总量的3倍,这意味着从2019年开始,此后的三四年时间产生的数据是现有数据量的两倍。这里面的数据80%都是非结构化数据,这也意味着非结构化数据的体量越来越大。
通常企业和机构的非结构化数据主要有三大部分:
一、部门管理的数据,包括文件共享,主目录,文件档案库,甚至包括视频监控;
二、行业应用的数据,每个行业都有自己行业应用,比如媒体里面有4K编辑、播出系统和媒资系统,生命科学有基因测序分析、石油能源、气象、地震的高性能计算,EDA、ADAS(汽车自动驾驶辅助系统),银行后督影像等等;
三、新兴的业务,这里的新兴业务是指互联网和移动互联网出现以后,最新出现的很多新的技术,如AI、Big?Data、Cloud、IoT、虚拟现实,区块链等等。今后还会有更多的新兴技术不断出现,这些技术会产出大量的非结构化数据。
另外一方面,很多用户倾向于不随便删除数据了。因为即使是一些数据灰尘,它实际上都记录了真实发生的事情,其中的价值你可以从不同的角度去分析和挖掘。
而对象存储之所以能够帮助企业解决非结构性数据的问题,主要有四点:
一、扩展性:基本都会产生横向的扩展架构,加节点,在系统不停机的情况下,把系统扩到很大规模,有效地应对数据增长。
二、简单性:使用也简便,管理也简便,一个存储管理员可以管PB级数据,简易性是传统存储达不到的。
三、元数据:用户可以利用元数据定义业务标签,这是非常重要的特点,比如在人工智能机器学习上元数据,元数据特性可以帮助定义特定数据集。
四、API:S3协议已经是对象存储的事实标准,整个基于S3的生态也在蓬勃发展,大多数现代化应用和云原生应用都是能够兼容S3?API。
对话戴尔胡渊汶:非结构化数据的价值如何释放
文章插图
在对象存储领域,戴尔科技集团已经耕耘超过了20年,胡渊汶表示:“对象存储具有很好的扩展性,能够实现横向的扩展架构,在系统不停机的情况下就可以加节点,这样可以把系统扩大到很大的规模,由此有效地应对数据增长。”
对话戴尔胡渊汶:非结构化数据的价值如何释放
文章插图
另外,直接通过元数据定义业务标签,如在人工智能、机器学习利用元数据,就可以帮助定义特定的数据集;更为重要的是,就是其存储协议支持S3,而大多数现代化应用和云原生应用都能够兼容S3,这就让对象存储有了更多的价值的体现。
戴尔ESC的能力
从2016年开始,戴尔ECS在每年Gartner?Group发布的针对对象技术和文件存储系统的魔力象限图都遥遥领先。
对话戴尔胡渊汶:非结构化数据的价值如何释放
文章插图
据介绍,国内的一个大型商业银行与戴尔合作之后取得很好的效果,其对象存储主要服务手机银行应用中,因为在手机银行应用需要大量频繁迭代,传统的应用开发部署做法不能满足的要求,便逐步把手机的业务转到云原生,因此其底层存储中采用了ECS。
目前,该银行在戴尔ECS上已经部署超过200个应用,其中有一个季度其上线了50个应用,这在以前是不可想象的,目前他们的对象数量已经超过100亿,每天请求量是2亿左右。