基于分布式數(shù)據(jù)集的并行計算框架內存優(yōu)化方法

摘要： 隨著科學計算和人工智能技術的快速發(fā)展，分布式環(huán)境下的并行計算已成為解決大規(guī)模理論計算和數(shù)據(jù)處理問題的重要手段。內存容量的提高以及迭代算法的廣泛應用，使得以Spark為代表的內存計算技術愈發(fā)成熟。但是，當前主流的分布式內存模型和計算框架難以兼顧易用性和計算性能，并且在數(shù)據(jù)格式定義、內存分配、內存使用效率等方面存在不足。提出一種基于分布式數(shù)據(jù)集的并行計算方法，分別從模型理論和系統(tǒng)開... （共9頁）