阿里云tsdb（阿里云盘）

本文目录一览：

• 1、阿里云的自研InfluxDB集群方案剖析
• 2、Oracle 表的 BLOB,CLOB字段还有用吗？
• 3、赵弘扬：阿里云Elasticsearch技术演进之路
• 4、WindowsSAM数据库是什么？
• 5、什么是完全依赖？？

阿里云的自研InfluxDB集群方案剖析

本文将以阿里云在GIAC的分享《云原生InfluxDB高可用架构设计》为例，剖析阿里云的自研InfluxDB集群方案的当前实现，在分析中会尽量聚焦的相对确定的技术、架构等，考虑到非一线信息，在个别细节上难免存在理解偏差，欢迎私聊讨论:

0x0 初步结论

目前是一个过渡性质的公测方案，具备数据一致性，但接入性能有限，缺乏水平扩展能力。缺乏自定义副本数和水平扩展等能力，通过Raft或Anti-entroy提升了数据的可靠性，但受限于节点和副本的强映射，集群接入性能有限，约等同于单机接入性能，另外，基于时序分片和分布式迭代器等核心功能未提及，可能仍在预研中。

0x1 集群方案剖析

1. 背景补充：InfluxDB是DB-Engines上排名第一的TSDB，针对时序数据多写、少读、成本敏感等特点而设计的TSDB，并做了多轮架构迭代和禅激优化，是一款实时、高性能、水平扩展（InfluxDB Enterprise）、具有成本优势的TSDB。但在2016年，Paul Dix基于商业化和持久简碰运营的考虑，尚未成熟的集群能力在v0.11.1版后，选择闭源，推出了收费版的InfluxDB Enterprise和InfluxDB Cloud。

2. 通过Raft协议实现Meta节点的数据一致性，考虑到Meta节点存放的是Database/Rention Policy/Shard Group/Shard Info等元信息，这些信息敏感，是系统稳定运行的的关键，CP的分布式架构，合适。

3. 通过Raft协议实现Data节点的数据一致性，考虑到Data节点存储的是具体的时序数据，性能和水平扩展性是挑战，对一致性性要求不高（PPT中亦提到这一点），采用CP的分布式架构，节点和副本强映射，不仅对实时性有影响，集群接入性能亦有限，约等同于单机接入性能，不能很好的支持海量数据的实时接入的时序需求。

4. 2节点集群方案，通过Anti-entroy实现Data节点的数据一致性，应该还实现了Hinted-handoff能力，AP的分布式架构，但节点和副本还是强映射，未见提及基于时序分配、自定义副本数、分布式迭代器等能力，暂无法水平扩展。

5. 云盘能保障数据的可靠性，但无法保障接入的可用性，可用性敏感的业务或实时要求高的业务，还是推荐多节点的集群模式。

6. 开源版InfluxDB（单机）性能不错，InfluxDB Enterprise性能不错，但如何保障补齐集群能力的卓越性能，取决于集群架构、并发架构等，是由集群功能的开发者决定的，这次未见提及性能数据，期待后续的贺咐袜公布。

0x2 附录

Oracle 表的 BLOB,CLOB字段还有用吗？

现在的数据库主要有两种（其他的一些很小众的数据库不算）

一种是关系型数据库（比如oracle，mysql，sqlserver这些）

还有一种是非关系型数据库（也叫做nosql数据库）（基于列的hbase，键值数据库Redis，文档型数据库MongoDb等）

二者都有优点和缺点，关系型的优点在于关联性和条理性，但是这正是这个优点也限制了数据库的性能大宽的提升，而非关系型的优点主要优点就在于并发和性能，二者互为补充。（当然这是现阶段来看，别跟我说将来，我不知道将来什么样，就算现在也只知道一点点）

在关系型数据库中oracle是头把交椅，但是因为在大数据时代，我们最常用的是大量数据的分析和整理，而在这里就要要高并发和高性能，而这一点关系型数据库是达不到非关系型数据库的处理速度的，所以现在非关系型数据库应用越来越广泛，而关系型数据库主要用在轻量数据处理（不是数据量小，而是数据处理量小，比如计算个总数平均数，整合数之类的，仅为举例，不是只能计算这个）和数据展示。

在以前来说数据处理这部分市场也是数据库的，而现在这部分市场被非关系型数据库占滚袭亮据了很大一部分份额，这部分市场在现在又很大，所以给人的感觉是关系型数据库不行了，其实个人觉得行与不行要看将来的发展，至少现在来看，一半一半，还是那句话，优越点两者都有，并不是一个就可以包打天下的（当然，包打也可以，就是在另外一方面慢一点，或者有一点问题或者麻烦一点而已）

至于你说的blob与clob这个是曾经数据库为了大文件准备的，现在确实有点落伍了，一般也不怎么用了，不过在有些地方还是有用的，而且对于数据库本身来说，这个设定装在着了并不怎么占据空间，没用的话就不用，但是万一用到的时候没有，那多尴尬。

心在来说大数据一般都是存在专门的数据平台上（不是那些什么云之类的地方啊，比如公司的共享服务器也算是一个平台，公司的VP*也算一个平台，类似这种）但是很少直禅尘接保存在数据库中了，但是在有些地方还是有保存的，比如在“美丽国”的某个州，就有法律规定，所有数据必须保存在数据库中，所以这个州的类似音乐网站一类的网站，只能将文件保存在相应的字段中，这时数据库的相关字段就有用了。

赵弘扬：阿里云Elasticsearch技术演进之路

导读： 全文将围绕以下三方面内容介绍睁键罩阿里云Elasticsearch技术。

01

阿里云Elasticsearch业务

1. 业务规模

阿里云Elasticsearch业务（简称ES），从2017年至今已经服务了几千个客户，数据规模达20PB，在公共云上拥有10000+集群，10W+节点规模，是一个成熟的云原生服务。

2. Elasticsearch在日志场景通常会遇到的问题

在企业的数字化转型过程中会生成大量日志数据，企业通过Elasticsearch满足日志检索、存储、归档审计的需求，而这些需求归根结底都会落到成亮凳本的增加，体现在以下三个方面：

3. 风险解读

在正常情况下，流量到ES协调节点，然后将数据写入Data Node；当流量变成正常情况的10倍时，对ES集群的压力就变得很大，一系列问题会接踵而来。

这种情况可以通过集群扩容的方式进行缓解，但扩容的同时又会产生新的问题：

① 稳定性风险

② 运维复杂度风险

③ 成本风险

--

02

阿里云Elasticsearch日志Serverless服务

1. 日志Serverless服务能力解读

基于上述问题和风险，阿里云引入了 两个新功能 ：

① Indexing Service

Indexing Service是一个超大的ES集群阵列，专做Indexing Build，每个客户可灵活使用， 它具有以下特性：

图中灰色虚线内是用户的ES集群，当流量洪峰到来时，用户可以将流量转发至Indexing Service的SLB中进行build index，然后通过segment merge的方式，回到用户ES集群的Data Node。这样通过外部的云上弹性服务，减轻了用户ES集群压力，实现秒级弹性扩缩容的需求。

② 智能海量存储引擎

2. 日志Serverless服务价值解读

① Serverless日志写入服务：Indexing Service

通过读写分离架构，ES集群的数据写入在云端服务进行托管加速，为用户实例和云端服务搭建桥梁，依托云端弹性计算能力，突破本地集群的物理资源限制。

对比开源ELK生态：

② Serverless日志存储服务：智能海量存储引擎

基于计算存储分离架构及多层存储介质混合，提供可靠的海量弹性低成本存储并保证查询性能，无须提前预留集群存储容量，根据实际数据的存储量按量计费。

3. Elasticsearch日志Serverless服务发布

全球范围内首个在云上提供Serverless能力的云原生Elasticsearch服务， 其核心价值体现在三个方面：

4. 真实案例收益

①客户场景描述

汽车 行业的IT系统，大多是分批建设，技术架构及系统复杂有 历史 包袱，IDC、多云架构比较普遍。新兴的业务部门，一方面需要满足政策合规要求，一方面希望对整体日志数据进行价值挖掘，通常会遇到如下悉闹问题：

②方案构架及价值点

--

03

阿里云Elasticsearch技术演进之路

阿里云Elasticsearch技术演进图

Elasticsearch未来的发展会继续在云原生Serverless上进行演进和迭代，在日志场景下优化成本，通过服务化的能力提升日志场景中的ES产品的易用性，帮助客户解决日志场景下前置日志链路上的问题。

同时，与ES社区就Elasticsearch TSDB时序引擎进行共建，相信很快可以在未来的ES新版本中推出TSDB能力。

今天的分享就到这里，谢谢大家。

分享嘉宾：赵弘扬 阿里云 高级产品专家

出品平台：DataFunTalk

01/ 分享嘉宾

02/ 报名看直播 免费领PPT

04/ 关于我们

欢迎转载分享评论，转载请私信。

WindowsSAM数据库是什么？

根据Gartner的预计，全球非关系型数据库（NoSQL）在2020~2022预计保持在30%左右高速增长，远高于数据库整体市场。伴随着NoSQL和大数据技术的兴起和发展，在阿里云上直接开放提供服务也有1年多时间，并在去年的12月份全新发布X-Pack，将单一的HBase演进到一个完整的数链塌据处理平友枝台的能力。我们注意到还有很多同学和客户不清楚HBaseX-Pack是什么，什么场景下合适好唤敏选择HBase X-Pack。首先我们先来看下HBase X-Pack的定位：1.HBase X-Pack是基于HBase及HBase生态构建的 低成本一站式数据处理平台。2.HBase X-Pack支持：HBase API(包括RestServerThriftServer)、关系Phoenix SQL、时序OpenTSDB、全文Solr、时空GeoMesa、图HGraph、分析Spark on HBase，是阿里云首个支持多模式的分布式数据库，且协议100%兼容开源协议。3.HBase X-Pack实现数据从处理、存储到分析全流程闭环，让客户用最低成本实现一站式数据处理。

什么是完全依赖？？

完全依赖，即完全函数依碧纯厅赖，设R为任一给定关系，X、Y为其属性集，若X → Y，且对X中的任何真子集X’ ，那么X’ ↛ Y 都成立，则称Y完全函数依赖于X。

Y函数依赖于X（X→Y），任何一个X的子集都能确定Y（完全函数依赖）f。

例：成绩完全依赖于（学号，课程号），X的部分子集确定Y（部分函数依赖）p。

例：课程名部分依赖于（学号，课程号），推论：如果X→Y，X是单个属性，则是完全函数依赖。

扩展资料：

完全函数依赖在数据库的运用：

根据Gartner的预计，全球非关系型数据库（NoSQL）在2020~2022预计悔隐保持在30%左右高速增长，远高于数据库整体市场。伴随着NoSQL和大数据技术的兴起和发展，在阿里云上直接开放提供服务也有1年多时间，并在去年的12月份全新发布X-Pack，将单一的HBase演进到一个完整的数据处理平台的能力。

HBase X-Pack的定位：HBase X-Pack是基于HBase及HBase生态构建的 低成本一站式数据处理平台；HBase X-Pack支持：HBase API(包括RestServerThriftServer)、关系Phoenix SQL、时序OpenTSDB、全文Solr、时空GeoMesa、图HGraph、分析Spark on HBase，是阿里云首个支持多模式的分布式数据库，且协议100%兼容开源协议；HBase X-Pack实现数据从处理、存裤逗储到分析全流程闭环，让客户用最低成本实现一站式数据处理。

参考资料来源：

百度百科-完全函数依赖