Tair_tair翻译

Tair(Taobao Pair)是淘宝开发的分布式Key-Value存储引擎，用于服务器端自动负载均衡分为持久化和非持久化两种方式存储：

非持久化：分布式缓存使用 Memcached（mdb）、Redis（rdb）

持久化：SQL-DB使用FireBird（fdb），NoSQL-DB：使用Kyoto Cabinet（kdb）、LevelDB（ldb）

Tair采用可插拔存储引擎设计，以上这些存储引擎可以很方便的替换，还可以引入新的存储引擎比如： MySQL。

使用场景：

1，分布式缓存，集成Redis，可以用于大多数使用场景，大访问少量临时数据的存储（kb左右）用于缓存，降低对后端数据库的访问压力，session场景高速访问某些数据结构的应用和计算（rdb）

2，数据源存储，快速读取数据（fdb），持续大数据量的存入读取（ldb），交易快照，高频度的更新读取（ldb），库存

Tair整体架构

Config Server

Config Server是单点，采用一主一备的方式保证可靠性。管理所有的data server, 维护data server的状态信息用户配置的桶数量、副本数、机房信息数据分布的对照表协调数据迁移、管理进度，将数据迁移到负载较小的节点上。
Client和ConfigServer的交互主要是为了获取数据分布的对照表，当client获取到对照表后，会cache这张表，然后通过查这张表决定数据存储的节点，所以不需要和configserver交互，这使得Tair对外的服务不依赖configserver，所以它不是传统意义上的中心节点。
Config server维护的对照表有版本概念，由于集群变动或管理触发，构建新的对照表后，对照表的版本号递增，并通过Data server的心跳，将新表同步给数据节点。客户端和Data server交互时，Dataserver每次都把自己缓存的对照表版本号放入response结构中，返回给客户端，客户端将Data server的对照表版本号和自己缓存的对照表版本号比较，如果不相同，会主动和Config server通信，请求新的对照表。（所以根本上，数据的信息并不是主动去维护到Config Server中去的，而是通过Client端获取的数据版本号与Config Server中的数据信息版本号对比不同步才去更新数据信息到Config Server）
Tair的Configserver使客户端使用时候，不需要配置数据节点列表，也不需要处理节点的的状态变化，这使得Tair对最终用户来说使用和配置都很简单。

Data Server

Data server负责数据的物理存储，并根据Configserver构建的对照表完成数据的复制和迁移工作。 Data server具备抽象的存储引擎层，可以很方便地添加新存储引擎。Data server还有一个插件容器，可以动态地加载/卸载插件。

Tair的存储引擎有一个抽象层，只要满足存储引擎需要的接口，便可以很方便地替换Tair底层的存储引擎。

Tair默认包含两个存储引擎：mdb和fdb：

mdb是一个高效的缓存存储引擎，它有着和memcached类似的内存管理方式。mdb支持使用share memory（tmpfs），这使得我们在重启Tair数据节点的进程时不会导致数据的丢失，从而使升级对应用来说更平滑，不会导致命中率的较大波动。
fdb是一个简单高效的持久化存储引擎，使用树的方式根据数据key的hash值索引数据，加快查找速度。索引文件和数据文件分离，尽量保持索引文件在内存中，以便减小IO开销。使用空闲空间池管理被删除的空间。

Tair高可用与负载均衡

Tair使用的意义并不是去取代Redis，是对Redis的集成，在高可用上，根据上面的架构，很多方面可以参照Redis的集群与高可用，例如对于单节点的ConfigServer进行主从设置，为了高可用可以添加SndNode。对于DataNode，可以对于每个DataNode都去做主从备份的概念。负载均衡则可以通过一致性hash均衡的分布在DataNode上。

对照表

在Tair系统中，采用对照表将数据均衡的分布在DataServer上，便于动态适应节点的扩容和缩容。Tair基于一致性Hash算法存储数据，根据配置建立固定数量的桶（bucket），桶为Hash环节点，hash(key) 顺时针设置桶，桶是负载均衡和数据迁移的基本单位，因为数据按照key做hash算法，所以可以认为每个桶中的数据基本是平衡的，保证了桶分布的均衡性, 就保证了数据分布的均衡性。

Tair数据迁移

当DataServer增加时，config server负责重新计算一张新的桶在data server上的分布表将桶较为平均的分配到各个DataServer上当DataServer发生故障时， config server负责重新计算一张新的桶在data server上的分布表, 将原来由故障机器服务的桶的访问重新指派到其它的data server中，同时也就会去进行数据迁移

1、设置当前正在迁移的桶ID
2、DataServer写入桶数据时，会写入redolog
3、migrate_manager迁移内存中的桶数据
4、migrate_manager迁移redolog数据
5、redolog数据迁移完成后，将桶标记为迁移完成
6、将信息发送给ConfigServer用于同步对照表

Tair可插拔存储引擎

Tair默认包含四种存储引擎：mdb、fdb、kdb和ldb

mdb 数据存储：Memcached 高效缓存存储使用share memory ，重启不会数据丢失支持K-V存储、prefix操作适用于：String缓存使用（json）、大访问少量的临时数据存储、Session分离
fdb 数据存储：FireBird 高效的持久化SQL存储索引文件和数据文件分离——>mysql MyISam 使用Tree的方式根据key的hash值索引数据 B tree 索引文件在内存中适用于：快速访问较小的数据
kdb 数据存储：Kyoto Cabinet Cabinet开发的KV的持久化存储，简单的包含记录的数据文件存储形式为hash表或B+Tree 适用于：简单临时存储
ldb 数据存储：LevelDB 是Google开发的高性能持久化KV存储可内嵌mdb缓存 mdb+ldb 支持kv、prefix 支持批量操作适用于：大数据量的存取（交易快照）、高频度的更新（库存）、离线大批量数据导入
rdb 数据存储：Redis 高效缓存存储多种数据结构和计算适用于：复杂数据结构存储、商品属性、粉丝列表、商品评论、消息队列