分布式事务
分布式事务
小奥分布式事务
一、分布式事务问题
1.1 本地事务
本地事务,也就是传统的单机事务。在传统数据库事务中,必须要满足四个原则:
- 原子性(A),一个事务必须被视为一个不可分割的最小工作单元,整个事务中的所有操作要么全部提交成功,要么全部失败回滚。事务是操作的最小单位,不可再分。
- 一致性(C),事务发生前和发生后,数据的完整性必须保持一致。
- 隔离性(I),多个事务之间的数据是相互隔离的,当并发访问数据库时,一个正在执行的事务对其他事务是不可见的。
- 持久性(D),一个事务一旦被提交或者回滚,它对数据库中数据的改变是永久性的。
1.2 分布式事务
分布式事务,就是指不是在单个服务或单个数据库架构下,产生的事务,例如:
- 跨数据源的分布式事务
- 跨服务的分布式事务
在数据库水平拆分、服务垂直拆分之后,一个业务操作通常要跨多个数据库、服务才能完成。例如电商行业中比较常见的下单付款案例,包括下面几个行为:
- 创建新订单
- 扣减商品库存
- 从用户账户余额扣除金额
完成上面的操作需要访问三个不同的微服务和三个不同的数据库。
订单的创建、库存的扣减、账户扣款在每一个服务和数据库内是一个本地事务,可以保证ACID原则。
但是当我们把三件事情看做一个”业务”,要满足保证“业务”的原子性,要么所有操作全部成功,要么全部失败,不允许出现部分成功部分失败的现象,这就是分布式系统下的事务了。
二、分布式理论
解决分布式事务问题,需要一些分布式系统的基础知识作为理论指导。
2.1 CAP定理
1998年,加州大学的计算机科学家 Eric Brewer 提出,分布式系统有三个指标。
- 一致性(Consistency)
- 可用性(Availability)
- 分区容错性(Partition tolerance)
它们的第一个字母分别是 C、A、P。
Eric Brewer 说,这三个指标不可能同时做到。这个结论就叫做 CAP 定理。
① 一致性
Consistency(一致性):用户访问分布式系统中的任意节点,得到的数据必须一致。
比如现在有两个数据库节点,其中初始数据是一致的:
- 当修改其中一个节点的数据时,两者数据产生了差异
- 要想实现一致性,就必须实现两个节点之间的同步
② 可用性
Availability (可用性):用户访问集群中的任意健康节点,必须能得到响应,而不是超时或拒绝。
比如有一个集群有三个节点,访问任何一个都可以及时得到响应。当有部分节点因为网络故障或其它原因无法访问时,代表节点不可用。
③ 分区容错
Partition(分区):因为网络故障或其它原因导致分布式系统中的部分节点与其它节点失去连接,形成独立分区。
Tolerance(容错):在集群出现分区时,整个系统也要持续对外提供服务。
④ 矛盾
在分布式系统中,系统间的网络不能100%保证健康,一定会有故障的时候,而服务有必须对外保证服务。因此Partition Tolerance不可避免。
- 如果此时要保证一致性,就必须等待网络恢复,完成数据同步后,整个集群才对外提供服务,服务处于阻塞状态,不可用。
- 如果此时要保证可用性,就不能等待网络恢复,那不同节点之间就会出现数据不一致。
也就是说,在P一定会出现的情况下,A和C之间只能实现一个。
2.2 BASE理论
BASE理论是对CAP的一种解决思路,包含三个思想:
- Basically Available (基本可用):分布式系统在出现故障时,允许损失部分可用性,即保证核心可用。
- Soft State(软状态):在一定时间内,允许出现中间状态,比如临时的不一致状态。
- Eventually Consistent(最终一致性):虽然无法保证强一致性,但是在软状态结束后,最终达到数据一致。
2.3 解决分布式事务的思路
分布式事务最大的问题是各个子事务的一致性问题,因此可以借鉴CAP定理和BASE理论,有两种解决思路:
AP模式:各子事务分别执行和提交,允许出现结果不一致,然后采用弥补措施恢复数据即可,实现最终一致。
CP模式:各个子事务执行后互相等待,同时提交,同时回滚,达成强一致。但事务等待过程中,处于弱可用状态。
但不管是哪一种模式,都需要在子系统事务之间互相通讯,协调事务状态,也就是需要一个**事务协调者(TC)**。
- 这里的子系统事务,称为分支事务;
- 有关联的各个分支事务在一起称为全局事务。
三、Seata
Seata是 2019 年 1 月份蚂蚁金服和阿里巴巴共同开源的分布式事务解决方案。致力于提供高性能和简单易用的分布式事务服务,为用户打造一站式的分布式解决方案。
官网地址:http://seata.io/,其中的文档、播客中提供了大量的使用说明、源码分析。
3.1 Seata的架构
Seata事务管理中有三个重要的角色:
- TC (Transaction Coordinator) - 事务协调者:维护全局和分支事务的状态,协调全局事务提交或回滚。
- TM (Transaction Manager) - 事务管理器:定义全局事务的范围、开始全局事务、提交或回滚全局事务。
- RM (Resource Manager) - 资源管理器:管理分支事务处理的资源,与TC交谈以注册分支事务和报告分支事务的状态,并驱动分支事务提交或回滚。
整体架构如图:
Seata基于上述架构提供了四种不同的分布式事务解决方案:
- XA模式:强一致性分阶段事务模式,牺牲了一定的可用性,无业务侵入;
- TCC模式:最终一致的分阶段事务模式,有业务侵入;
- AT模式:最终一致的分阶段事务模式,无业务侵入,也是Seata的默认模式;
- SAGA模式:长事务模式,有业务侵入。
无论哪种方案,都离不开TC,也就是事务的协调者。
3.2 Seata配置
引入依赖
<!--seata--> |
配置文件配置
seata: |
3.3 XA模式
XA
规范 是 X/Open
组织定义的分布式事务处理(DTP
,Distributed Transaction Processing
)标准,XA
规范 描述了全局的TM与局部的RM
之间的接口,几乎所有主流的数据库都对 XA
规范 提供了支持。
(1) 两阶段提交
XA是规范,目前主流数据库都实现了这种规范,实现的原理都是基于两阶段提交。
正常情况:
异常情况:
第一阶段:
- 事务协调者通知每个事务参与者执行本地事务;
- 本地事务执行完成后报告事务执行状态给事务协调者,此时事务不提交,继续持有数据库锁;
第二阶段:
- 事务协调者基于第一阶段的报告来判断下一步操作:
- 如果第一阶段都成功,则通知所有事务参与者,提交事务。
- 如果第一阶段任意一个参与者失败,则通知所有事务参与者回滚事务。
(2) Seata的XA模式
Seata对原始的XA模式做了简单的封装和改造,以适应自己的事务模型,基本架构如图:
RM第一阶段的工作:
- 注册分支事务到TC
- 执行分支业务sql但不提交事务
- 报告执行状态同步到TC
TC第二阶段的工作:
- TC检测各分支事务执行状态:
- 如果都成功,通知所有RM提交事务;
- 如果有失败,通知所有RM回滚事务;
RM第二阶段的工作:
- 接收TC指令,提交或者回滚事务。
(3) XA的优缺点
XA模式的优点:
- 事务的强一致性,满足ACID原则。
- 常用数据库都支持,实现简单,并且没有代码侵入。
XA模式的缺点:
- 因为一阶段需要锁定数据库资源,等待二阶段结束才释放,性能较差。
- 依赖关系型数据库实现事务。
(4) 实现
Seata的starter已经完成了XA模式的自动装配,实现非常简单,步骤如下:
(1)修改application.yml文件(每个参与事务的微服务),开启XA模式:
seata: |
(2)给发起全局事务的入口方法添加@GlobalTransactional
注解即可。
3.4 AT模式
AT模式同样是分阶段提交的事务模型,不过缺弥补了XA模型中资源锁定周期过长的缺陷。
(1) Seata的AT模式
基本流程图:
RM第一阶段的工作:
- 注册分支事务;
- 记录undo-log(数据快照);
- 执行业务sql并提交;
- 报告事务状态。
RM第二阶段提交时的工作:
- 删除undo-log即可。
RM第二阶段回滚时的工作:
- 根据undo-log恢复数据到更新前。
(2) 流程梳理
我们用一个真实的业务来梳理下AT模式的原理。
比如,现在又一个数据库表,记录用户余额:
id | money |
---|---|
1 | 100 |
其中一个分支业务要执行的SQL为:
update tb_account set money = money - 10 where id = 1 |
AT模式下,当前分支事务执行流程如下:
第一阶段:
- TM发起并注册全局事务到TC;
- TM调用分支事务;
- 分支事务准备执行业务SQL;
- RM拦截业务SQL,根据where条件查询原始数据,形成快照。
{ |
- RM执行业务SQL,提交本地事务,释放数据库锁。此时
money = 90
; - RM报告本地事务状态给TC。
第二阶段:
- TM通知TC事务结束;
- TC检查分支事务状态:
- 如果都成功,则立即删除快照。
- 如果有分支事务失败,需要回滚。读取快照数据(
{"id": 1, "money": 100}
),将快照恢复到数据库。此时数据库再次恢复为100。
流程图如下:
AT模式与XA模式最大的区别是什么?
- XA模式一阶段不提交事务,锁定资源;AT模式一阶段直接提交,不锁定资源。
- XA模式依赖数据库机制实现回滚;AT模式利用数据快照实现数据回滚。
- XA模式强一致;AT模式最终一致。
(3) 脏写问题
在多线程并发访问AT模式的分布式事务时,有可能出现脏写问题,如图:
解决思路就是引入了全局锁的概念。在释放DB锁之前,先拿到全局锁。避免同一时刻有另外一个事务来操作当前数据。
(4) AT的优缺点
AT模式的优点:
- 第一阶段完成直接提交事务,释放数据库资源,性能比较好;
- 利用全局锁实现读写隔离;
- 没有代码侵入,框架自动完成回滚和提交。
AT模式的缺点:
- 两阶段之间属于软状态,属于最终一致;
- 框架的快照功能会影响性能,但比XA模式要好很多。
(5) 实现
AT模式中的快照生成、回滚等动作都是由框架自动完成,没有任何代码侵入,因此实现非常简单。
只不过,AT模式需要一个表来记录全局锁、另一张表来记录数据快照undo_log。
(1)新建两张数据库表用来记录全局锁和数据快照;
(2)修改application.yml文件,将事务模式修改为AT模式即可:
seata: |
3.5 TCC模式
TCC模式与AT模式非常相似,每阶段都是独立事务,不同的是TCC通过人工编码来实现数据恢复。需要实现三个方法:
Try:资源的检测和预留;
Confirm:完成资源操作业务;要求 Try 成功 Confirm 一定要能成功。
Cancel:预留资源释放,可以理解为try的反向操作。
(1) 流程分析
举例,一个扣减用户余额的业务。假设账户A原来余额是100,需要余额扣减30元。
- 阶段一( Try ):检查余额是否充足,如果充足则冻结金额增加30元,可用余额扣除30。
初识余额:
余额充足,可以冻结:
此时,总金额 = 冻结金额 + 可用金额,数量依然是100不变。事务直接提交无需等待其它事务。
- **阶段二(Confirm)**:假如要提交(Confirm),则冻结金额扣减30。
确认可以提交,不过之前可用金额已经扣减过了,这里只要清除冻结金额就好了:
此时,总金额 = 冻结金额 + 可用金额 = 0 + 70 = 70元
- **阶段二(Canncel)**:如果要回滚(Cancel),则冻结金额扣减30,可用余额增加30。
需要回滚,那么就要释放冻结金额,恢复可用金额:
(2) Seata的TCC模式
Seata中的TCC模型依然延续之前的事务架构,如图:
(3) TCC的优缺点
TCC模式的每个阶段:
- Try:资源检查和预留
- Confirm:业务执行和提交
- Cancel:预留资源的释放
TCC的优点:
- 一阶段完成直接提交事务,释放数据库资源,性能好;
- 相比AT模型,无需生成快照,无需使用全局锁,性能最强;
- 不依赖数据库事务,而是依赖补偿操作,可以用于非事务型数据库。
TCC的缺点:
- 有代码侵入,需要人为编写try、Confirm和Cancel接口,编码较为繁琐;
- 软状态,事务是最终一致;
- 需要考虑Confirm和Cancel的失败情况,做好幂等处理。
(4) 事务悬挂和空回滚
① 空回滚
当某分支事务的try阶段阻塞时,可能导致全局事务超时而触发二阶段的cancel操作。在未执行try操作时先执行了cancel操作,这时cancel不能做回滚,就是空回滚。
如图:
执行cancel操作时,应当判断try是否已经执行,如果尚未执行,则应该空回滚。
② 业务悬挂
对于已经空回滚的业务,之前被阻塞的try操作恢复,继续执行try,就永远不可能confirm或cancel ,事务一直处于中间状态,这就是业务悬挂。
执行try操作时,应当判断cancel是否已经执行过了,如果已经执行,应当阻止空回滚后的try操作,避免悬挂。
(5) 实现
解决空回滚和业务悬挂问题,必须要记录当前事务状态,是在try、还是cancel。
① 思路分析
这里我们定义一张表:
CREATE TABLE `account_freeze_tbl` ( |
其中:
- xid:是全局事务id
- freeze_money:用来记录用户冻结金额
- state:用来记录事务状态
那此时,我们的业务该怎么做呢?
- Try业务:
- 记录冻结金额和事务状态到account_freeze表。
- 扣减account表可用金额。
- Confirm业务
- 根据xid删除account_freeze表的冻结记录。
- Cancel业务
- 修改account_freeze表,冻结金额为0,state为2。
- 修改account表,恢复可用金额。
- 如何判断是否空回滚?
- cancel业务中,根据xid查询account_freeze,如果为null则说明try还没做,需要空回滚。
- 如何避免业务悬挂?
- try业务中,根据xid查询account_freeze ,如果已经存在则证明Cancel已经执行,拒绝执行try业务。
接下来,我们利用TCC实现余额扣减功能。
② 声明TCC接口
TCC的Try、Confirm、Cancel方法都需要在接口中基于注解来声明,
import io.seata.rm.tcc.api.BusinessActionContext; |
③ 编写实现类
实现TCC业务:
|
3.6 SAGA模式
Saga 模式是 Seata 即将开源的长事务解决方案,将由蚂蚁金服主要贡献。
其理论基础是Hector & Kenneth 在1987年发表的论文Sagas。
Seata官网对于Saga的指南:https://seata.io/zh-cn/docs/user/saga.html
(1) 原理
在 Saga 模式下,分布式事务内有多个参与者,每一个参与者都是一个冲正补偿服务,需要用户根据业务场景实现其正向操作和逆向回滚操作。
分布式事务执行过程中,依次执行各参与者的正向操作,如果所有正向操作均执行成功,那么分布式事务提交。如果任何一个正向操作执行失败,那么分布式事务会去退回去执行前面各参与者的逆向回滚操作,回滚已提交的参与者,使分布式事务回到初始状态。
Saga也分为两个阶段:
- 一阶段:直接提交本地事务。
- 二阶段:成功则什么都不做;失败则通过编写补偿业务来回滚。
(2) 优缺点
优点:
- 事务参与者可以基于事件驱动实现异步调用,吞吐高;
- 一阶段直接提交事务,无锁,性能好;
- 不用编写TCC中的三个阶段,实现简单。
缺点:
- 软状态持续时间不确定,时效性差;
- 没有锁,没有事务隔离,会有脏写。
3.7 四种模式对比
如图: