从 AWS S3 的发展，看对象存储及互联网基础设施的未来
文章全长3347字，阅读时长5~10分钟
2005年，在西雅图国会山街区一家名为“Six Arms”的酒馆里，有那么一群人，他们花了几天的时间，想要讨论出一款能够为人们提供简单互联网存储服务的产品，于是他们一边喝着啤酒一边在餐巾纸的纸面上勾勒着这款产品应该具备的各种要素。
可能大家对19年前的互联网已经没啥印象了，那时国外也才是Web1.0的时代，虽然大家已经可以通过互联网很方便的获取信息，但丝毫谈不上“拥抱互联网”，因为互联网存储的成本非常高，且系统极其难用。
这就导致了，对一般老百姓或家庭来说，光是通过互联网存储和访问图片、音频文件、电子表格就做不到。
对科技初创公司和创业者，想要提供互联网服务也风险巨大，因为要提供互联网服务就必须搭建自己的数据中心，搭建数据中心就得购买昂贵的硬件设备，还要专门雇人搭建和维护系统。
这还不算未来企业可能要扩展硬件，基于当时的存储架构，这个成本可是倍数增长的。
所以，一个初期应该采购多少设备的问题就能劝退一大波科技初创公司和创业者。
2005年年底，还是在西雅图，一位名叫唐-阿尔瓦雷斯（Don Alvarez）的创业者正为采购新的互联网存储设备而发愁。
有一天，他的一位在亚马逊工作的朋友邀请他去看看他们正在做的一个新项目。起初，他严重怀疑一家电子商务公司能给自己什么帮助。
但当阿尔瓦雷斯体验完这个项目后，大为震惊，马上就表示要订购亚马逊的这款新产品。
用阿尔瓦雷斯自己的话说：“我感觉就像有人把糖果店的钥匙交给了我”。
没错，这就是 “Six Arms”酒馆里喝着啤酒的那群人想出来的产品。
2006年3月，亚马逊正式发布了它，命名为AWS S3。
基于对象存储的S3
Amazon的AWS S3，是第一款基于云的分布式对象存储服务。
有意思的是，为什么Amazon要打造一款分布式系统，还是采用对象存储的呢?
要知道，不管是分布式系统还是对象存储，都是30多年前就存在的技术了，不止不能算“新鲜”，甚至可以叫它们“传统技术”了。
这就要先说说当时Amazon团队的考虑了。据维尔纳-沃格尔斯博士（Werner Vogels，CTO）的回忆，当时Amazon首先确定的是这个产品对用户必须“简单”，尽管要做到简单的这款产品肯定很难简单。
那个年代的设计趋势是为软件套件添加尽可能多的功能（嗯…现在难道不是这样吗？），这显然与他们想做的“简单”互联网存储完全相反，所以他们决定反其道而行之。
让这个存储系统，只做它需要做的事情（存储），而且要做得非常好。
这个“非常好”，除了必须“简单”以外，还必须“足够快、足够可靠、足够耐用、足够灵活，任何开发人员都可以用它来满足任何数据存储需求”，因为即使在 19 年前，数据也被认为是公司最重要的资产之一。
P.S. AWS S3面向的用户其实是技术开发人员，不是普罗大众。
所以，Amazon决定通过分布式的方式来消除可能遇到的性能瓶颈以及单点故障问题，并用对象存储来提供安全的互联网存储空间。
对分布式和对象存储感兴趣的话，可以看我们之前写的文章（见文末），分布式字面上应该就能理解，至于对象存储。
对象存储
对象存储的诞生可以追溯到20世纪90年代，当时国外的有很多公司都曝出了伪造数据的丑闻，国外政府为了应对这一问题颁布了一堆法案。
为了遵守严格的法规同时控制越来越昂贵的存储成本，有公司就开发出了一种新的存储数据方法，这就是对象存储。
它是怎么应对上面2个问题的呢?
- 它有近乎无限的扩展性
- 它能确保文件一旦写入就不可更改
就是这 2 个特点，让对象存储可以很好的控制存储成本并且遵守政府颁布的法规。
另外它还有一个非常重要的点是，对象存储提供了一个记录系统，可以捕获与对象相关的元数据，从而确定一个文件的编写时间、作者、发送者等任何相关信息。（什么是元数据、对象存储的工作原理，同样见文末）
这样，对象存储就解决了一个传统文件存储无法解决的难题：
比如，一个在互联网上存储了大量照片的人，现在他想要知道在过去10年里自己存了多少张孩子的照片。
如果用文件存储系统，他必须打开每一张照片；而通过对象存储，仅凭元数据就可以获得这些信息，效率更高，成本也非常低。
基于以上对象存储所具有的的安全性、可靠性，以及其强大的扩展性，Amazon团队最终选择了对象存储。
再后面的事情大家都知道了。
06年到现在，这种分布式系统+对象存储的方式已经从最早简单提供互联网存储成为了现代数据基础设施骨干。
对象存储的未来
如今，对象存储已经成为了主流，不管是用于云还是内部部署。
至于未来，我们认为它还将发挥更大的作用，不论是对企业、个人还是家庭用户。
理由很简单：
首先，据IDC(国际数据公司)称，未来80%的数据将是非结构化文件或基于对象的数据，而对象存储是最适用于存放大量非结构化数据的。
其次，如今我们产生数据的速度比以往任何时候都要快，这意味着对任何人或企业来说，数据可见性都会成为一个“挑战”。
P.S.数据可见性指可以快速识别、检索并快速访问各种数据，进而从中提取有意义的见解的能力。
这也是对象存储的优势。
第三点，在面对日益增长的数据时，我们一定会遇到存储容量和长久存储数据的问题，这时候对象存储的规模可扩展性和安全性显然是至关重要的。
这么说，现在即未来？
不，虽然分布式系统+对象存储一定会是未来，但提供服务的方式或者说“载体”正在发生变化。
新的趋势——云遣返
如果你经常关注IT类新闻，会发现有一种趋势越来越流行，那就是“云遣返（Cloud Repatriation）”。
云遣返是将数据、应用程序或工作负载从公共云环境移回企业内部基础设施的过程。
讲人话就是：“从公有云迁移到私有云的过程”
出于成本低、数据安全和主权要求、隐私性、更好的性能（比如网络延迟）、避免捆绑等各种各样的好处。
越来越多的企业开始尝试从完全采用公有云转向私有云或混合云。
根据赛迪顾问2022年的私有云市场调研报告，21年中国企业私有云市场的规模为1187.5亿元，公有云市场的规模为2240.9亿元，基本达到1：2。
私有云市场的增长速度不可谓不快（报告详见文末）
可以预见的是，同样的云遣返趋势也将发生在个人和家庭用户的身上，毕竟成本、数据安全和主权要求….上述说的各种问题，在普通用户身上也同样会遇到，而且日益严重。
至于普通用户云遣返的方式，那就必须要提“etsme的密盒”。
基于对象存储的小型私有云
和AWS S3一样，密盒在产品设计之初就决定了必须对用户“简单”（好吧…做一款这样的产品并不简单这点也一样）。
甚至密盒对这点的要求更高，毕竟密盒还必须让对IT一窍不通的人，甚至老人、小孩都能轻松玩转。
所以密盒采用了最简单的“群”的方式来完成互动分享，存储和备份也尽可能“一键式”“傻瓜式”。
为了“做得非常好”，密盒采用了分布式+对象存储，自研了面向个人的云计算操作系统 MeOS，从而实现“足够快、足够可靠、足够耐用、足够灵活，任何人都可以用它来满足任何数据存储需求”，借用前面的话，我们认为数据也是个人最重要的资产之一。
不夸张的说，密盒正在成为人人可以用的“私有云S3“，让所有人都能体验私有化的Simple Storage Service。
小知识：S3由来于Simple Storage Service 3个英文的首字母，中文是“简单存储服务“
当然，这需要时间。
S3最初只是个简单的互联网存储，直到架构师和开发人员发现其在建立云数据仓库、处理结构和非结构化数据中的巨大潜力之后才对S3的看法发生了转变，成为现代数据基础架构的支柱又是几年以后的事情。
ETSME从19年成立，经过3年的研发才正式发布密盒以及MeOS操作系统，又经过近3年的迭代才让产品变得如现在这样稳定、可靠、丝滑。
不久，大家也将看到密盒的再一次升级，随之而来的是更强大的功能和体验。
如果你对我们的产品感兴趣，欢迎购买并体验etsme密盒，同我们一起见证这款新一代互联网基础设施。
etsme是采用云计算原生技术打造的个人私有云/小型私有云产品，即刻入手etsme，探索更多贴心功能，掌控自己的数字世界。
