1、新型内存硬件环境中的事务管理系统综述胡浩1梁文凯1李诗逸1王鸿鹏1,2夏文1,21(哈尔滨工业大学(深圳)计算机科学与技术学院广东深圳518055)2(广东省安全智能新技术重点实验室(哈尔滨工业大学(深圳)广东深圳518055)()Survey of Transaction Management System in New Memory HardwareEnvironmentHuHao1,LiangWenkai1,LiShiyi1,WangHongpeng1,2,andXiaWen1,21(School of Computer Science and Technology,Harbin Ins
2、titute of Technology(Shenzhen),Shenzhen,Guangdong 518055)2(Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies(Harbin Institute of Technology(Shenzhen),Shenzhen,Guangdong 518055)AbstractTheeraofbigdataexplosionhasproducedvariousnewtypesofbusiness,andbusinessdatadrivesthei
3、nnovative and iterative development of transaction management systems.Due to the limitations of traditionalpersistencemedia,traditionaltransactionmanagementsystemscannotefficientlyexecutetransactions.Theadditionaloverheadofresolvingtransactionconflictscanalsolimitthethroughputofthetransactionmanagem
4、entsystem.Thecommercialapplicationofnewhardwarehasinjectedmorepossibilitiesintotransactionmanagementsystemsandhasreceived extensive attention in both academia and industry.Hardware transactional memory(HTM)can providehardware-leveltransactionconflictdetectionfortransactionmanagementsystems.Comparedw
5、ithsolid-statedrives(SSD),the byte addressability and persistence characteristics of non-volatile memory can significantly reducetransactionexecutionlatencyandimprovetheperformanceoftransactionmanagementsystem.However,existingtransactionmanagementsystemtechnologycannotfullytakeadvantageoftheperforma
6、nceimprovementbroughtbythehardware,soitisnecessarytoreconstructthetransactionarchitecturetoaddressthisproblem.Wefirstanalyzecurrenttransactionmanagementsystemsunderthenewhardwareenvironment,thensummarizethecurrenttechnicalaspectsofthem,andmakecleartheadvantagesanddisadvantagesofthetransactionmanagem
7、entsystemunderthehardwaretransactionalmemoryandnon-volatilestoragehardware.Finally,thepossibledevelopmentdirectionandnewchallengesofthetransactionmanagementsysteminthenewhardwareenvironmentarepointedout.Key wordshardwaretransactionalmemory(HTM);non-volatilememory;concurrencycontrol;hardware-software
8、co-design;transactionmanagesystem摘要大数据爆发的时代产生了各种新的业务类型,业务数据驱动着事务管理系统创新性的迭代发展.由于传统持久化介质的制约,传统的事务管理系统无法高效执行事务.并且,解决事务冲突的额外开销仍收稿日期:2022-06-16;修回日期:2022-12-27基金项目:国家自然科学基金项目(61972441);广东省安全智能新技术重点实验室项目(2022B1212010005);广东省普通高校青年创新人才项目(2022KQNCXI59);深圳市科技计划项目(RCYX20210609104510007)Thisworkwassupportedbyt
9、heNationalNaturalScienceFoundationofChina(61972441),theProjectofGuangdongProvincialKeyLaboratoryofNovel Security Intelligence Technologies(2022B1212010005),the Guangdong Young Innovative Talents Program of General Universities(2022KQNCXI59),andtheShenzhenScienceandTechnologyProgram(RCYX2021060910451
10、0007).通信作者:夏文()计 算 机 研 究 与 发 展DOI:10.7544/issn1000-1239.202220579JournalofComputerResearchandDevelopment60(3):572591,2023然会限制事务管理系统的吞吐.新型硬件的商业化应用为事务管理系统注入了更多的可能性,在学术界和工业界均得到了广泛关注.硬件事务内存可以为事务管理系统提供硬件级别的事务冲突检测.而且,相对于固态硬盘,非易失性内存的字节寻址和持久化特性可以显著降低事务延迟并提升事务管理系统的性能.但是,现有的事务管理系统技术无法充分地利用硬件本身带来的性能提升,因此需要重构事务
11、架构来解决这个问题.首先对新型硬件环境下的事务管理系统进行总结分析;之后总结了当前基于新型硬件事务管理系统的技术路线,明确了硬件事务内存和非易失性存储硬件下的事务管理系统的优势和不足;最后指明了新型硬件环境中事务管理系统未来可能的发展方向以及新的挑战.关键词硬件事务内存;非易失性内存;并发控制;软硬协同;事务管理系统中图法分类号TP303事务作为支撑大型复杂场景的技术基石,以一个有限逻辑执行单元为现代应用技术服务提供强有力的可靠性保障1.事务是构建数据管理应用的核心,后来这一理念被广泛运用于数据库系统中,为数据操作提供完整性、一致性、并发性和恢复性 4 个基本属性2.传统的事务管理系统以硬盘(
12、机械硬盘(harddiskdrive,HDD)和固态硬盘(solidstatedrive,SSD)为数据存储中心,借助主存(dynamicRAM,DRAM)低延迟和随机访问速度快的特性缓存部分数据操作的关键信息,加速事务语义处理.但是,随着数据存储量的爆炸性增长以及业务种类的扩增,以Oracle3,SQLServer4为代表的传统关系型数据库已经无法满足工业界的需求,低延迟5、计算密集型6、I/O 密集型7等新型应用正在不断涌现.一些学者提出非关系型数据库,如 Redis8,HBase9,MongoDB10,Neo4J11等适用于联机分析处理(on-lineanalyticprocessing
13、,OLAP)12的新型数据库.数据库系统中的事务允许多个操作并发执行并保证数据状态的一致性,但是通常数据库中的一个事务包含多个指令.由于传统数据库中的数据存储在磁盘上,因此事务执行周期较长.而软件事务内存(softtransactionmemory,STM)13旨在简化并行编程模型,替代基于锁的数据同步方案,高效服务上层应用程序,使应用程序得以简化.并且,软件事务内存与数据结构中每个模块的加载和存储相处更为融洽,从而使应用程序维护更简便.软件事务内存与数据库中的事务不同之处在于前者研究的重点是并行编程模型范围内的内存访问效率,并且不保证持久性.为了提高软件事务内存的性能,先前的工作利用额外的数
14、据结构、内存脚印等机制14-15减少磁盘访问,这些机制在事务执行时产生较高的运行时开销.近年来,为了最小化软件事务内存的开销,硬件事务内存(hardwaretransactionalmemory,HTM)16-17逐渐获得了研究人员的关注.HTM 通过一系列事务相关的指令集在 CPU 核心中的专有缓存区域追踪事务的读、写集合,并使用通用的缓存一致性(MESI)协议保持事务的修改状态,利用硬件检测事务冲突并中 止 相 关 事 务 执 行.英 特 尔 的 事 务 同 步 扩 展(transactionsynchronizationextensions,TSX)18是一种商业 HTM 机制的实现,于
15、 2013 年添加至 CPU 处理器中.TSX 分为 2 种实现模型:1)硬件锁定省略(hardwarelockelision,HLE)允许 CPU 不对事务操作对象集合的锁进行持久化,从而致使资源在程序模型视角是空闲的,进一步提高性能;2)受限事务内存(restrictedtransactionalmemory,RTM)是 HLE 的替代实现,它可以为应用开发者提供灵活的软件接口,通过相应的指令集为事务代码指定执行区域,这一实现模型被广泛应用于实际场景中.HTM 无法提供数据的非易失性,因此仍然要借助持久化设备保证数据的完整性.后摩尔时代意味着传统的磁盘存储设备已经到达了发展瓶颈,无法高速迭
16、代产品.在这种不平衡的现状下,主存(DRAM)和持久化存储介质之间的 I/O 带宽和延迟会变得越来越大,难以满足上层应用程序的性能需求.工业界和学术界开始寻求其他新型存储技术的突破,提出了一系列的新型非易失性存储器,如相变存储器(phasechangememory,PCM)19、电阻式存储器(resistiveRAM,ReRAM)20、自旋传递扭矩磁性存储器(spintorquetransfermagneticRAM,STT-MRAM)21等.英特尔在 2019 年发布了首款商用傲腾非易失性内存(optaneDCpersistentmemory,OptanePM)22,该介质利用一种类似 PCM 的技术3DXPoint,打破了硬盘和内存之间的栅栏屏障,提供高密度、大容量的非易失性存储.OptanePM 可以直接放置在内存总线上,使用 DDR-T 协议与内存控制器交互通信,允许程序使用异步命令同时保证数据时序,并且事务可以在胡浩等:新型内存硬件环境中的事务管理系统综述573非易失性内存控制器中重新排序.然而,新型硬件的广泛应用使得传统的事务管理系统面临诸多挑战:1)HTM 受限于 L1