面向存算分離架構(gòu)的混合粒度緩存策略
華東師范大學(xué)學(xué)報(bào)(自然科學(xué)版)
頁數(shù): 14 2023-09-15
摘要: 存儲計(jì)算分離方案已成為一種提高大規(guī)模數(shù)據(jù)處理性能及效率的系統(tǒng)架構(gòu),但其存儲層的訪問效率低、網(wǎng)絡(luò)開銷大、對小文件不友好,存在著極大的性能瓶頸.基于MergeTree的數(shù)據(jù)庫ClickHouse在數(shù)據(jù)存儲過程中會產(chǎn)生很多小文件. ClickHouse和S3存算分離方案中文件粒度固定的SSD (solid state driver)緩存區(qū)不僅和內(nèi)存數(shù)據(jù)不匹配,還會造成緩存區(qū)空間浪費(fèi)....