APP
移動互聯(lián)網(wǎng)的發(fā)展給人們的社交和娛樂方式帶來了很大的改變，以vlog、短視頻等為代表的新興文化樣態(tài)正受到越來越多人的青睞。同時，隨著AI智能、美顏修圖等功能在圖像視頻編輯App中的應(yīng)用，促使視頻編輯效率和視頻效果得到了很大的提升，也讓視頻應(yīng)用場景更加豐富。
當(dāng)前剪輯產(chǎn)品功能多樣、素材豐富，但是開發(fā)周期較長、門檻較高。為了讓剪輯軟件更加智能、簡單易用，提升開發(fā)者的效率，HMS Core 6為開發(fā)者提供視頻編輯服務(wù)（Video Editor Kit），提供視頻導(dǎo)入、編輯、渲染、導(dǎo)出、媒資管理等一站式視頻處理能力。除了支持完整的傳統(tǒng)視頻編輯功能，視頻編輯服務(wù)還提供了諸如專屬濾鏡、人物追蹤、一鍵染發(fā)等豐富的AI處理能力輔助視頻創(chuàng)作，為用戶帶來更加暢快的創(chuàng)作靈感，打造更加智能的剪輯體驗(yàn)。
圖1. 基于AI能力的專屬濾鏡、人物追蹤、一鍵染發(fā)效果展示
多樣化的智能視頻處理能力是由一個個神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)的，由于訓(xùn)練好的模型文件較大（單個模型大小一般為十幾甚至幾十兆），而手機(jī)等設(shè)備ROM和RAM空間大小有限，如何以更少的終端設(shè)備空間占用為開發(fā)者提供更豐富的智能化視頻處理能力，成為移動應(yīng)用視頻編輯面臨的一大挑戰(zhàn)。
為解決以上挑戰(zhàn)，HMS Core視頻編輯服務(wù)選擇使用華為自研AI框架MindSpore Lite進(jìn)行神經(jīng)網(wǎng)絡(luò)模型推理。MindSpore Lite是一款全場景AI推理引擎，通過統(tǒng)一API接口支持在端、邊、云的不同環(huán)境快速部署，支持HarmonyOS、Android、iOS、Windows等多種操作系統(tǒng)，支持Ascend、GPU、CPU（x86、arm……）等多種硬件執(zhí)行。除支持MindSpore訓(xùn)練出的模型格式，MindSpore Lite還支持TensorFlow，TensorFlow Lite、Caffe、ONNX等第三方模型格式的轉(zhuǎn)換及推理。
?圖2. MindSpore Lite架構(gòu)圖
MindSpore Lite為AI模型推理提供高性能和超輕量的解決方案：通過高效的內(nèi)核算法和匯編級優(yōu)化，以及CPU、GPU、NPU的異構(gòu)調(diào)度，可以充分發(fā)揮硬件算力，實(shí)現(xiàn)最小化推理時延和功耗；提供模型量化壓縮技術(shù)，采用訓(xùn)練后量化（Post-Training Quantization, PTQ），無需數(shù)據(jù)集即可直接將權(quán)重數(shù)據(jù)從浮點(diǎn)型映射到低比特的定點(diǎn)數(shù)據(jù)，有效降低模型大小，助力AI模型在資源受限環(huán)境下的部署執(zhí)行。
圖3. 量化技術(shù)原理介紹
針對權(quán)重數(shù)據(jù)的量化支持固定比特量化和混合比特量化兩種形式。固定比特量化采用Bit-Packing的方式，支持1-16任意比特的權(quán)重量化，滿足用戶在不同壓縮場景下的要求，同時針對模型量化后的數(shù)據(jù)分布情況，自動選擇合適的編碼策略進(jìn)行壓縮編碼，從而達(dá)到最優(yōu)的壓縮效果。
圖4. 固定比特量化壓縮
混合比特量化根據(jù)神經(jīng)網(wǎng)絡(luò)不同層對量化損失的敏感度不同的特點(diǎn)，采用均方誤差作為優(yōu)化目標(biāo)，自動搜索出最適合當(dāng)前層的比特位，在保證精度的同時實(shí)現(xiàn)更大的壓縮率。同時針對量化后的模型，采用有限狀態(tài)熵(Finite State Entropy, FSE)對量化后的權(quán)重數(shù)據(jù)進(jìn)行熵編碼進(jìn)一步壓縮，實(shí)現(xiàn)對模型的高效壓縮，提升模型傳輸速率和減少模型存儲空間。
圖5. 混合比特量化壓縮
除此之外，量化時還會采用Bias Correction的方式，最小化其量化誤差。Bias Correction會根據(jù)權(quán)重數(shù)據(jù)固有的統(tǒng)計(jì)學(xué)特性，反量化時對其進(jìn)行校準(zhǔn)，使權(quán)重值量化前后具有相同的期望和方差，能夠大幅度提高模型精度。
視頻編輯服務(wù)中的AI模型采用MindSpore Lite提供的混合比特量化方式，最終在保證精度的同時達(dá)到了平均5x+的模型壓縮效果，例如一鍵染發(fā)的模型從原來的20.86M壓縮到3.76M，有效解決了模型過多、文件過大導(dǎo)致的部署困難問題。
圖6. 視頻編輯模型量化效果（來源于MindSpore Lite實(shí)測數(shù)據(jù)）
通過對AI模型的量化壓縮，在ROM空間占用不變的前提下，保障剪輯產(chǎn)品可以部署更多的AI模型，充分發(fā)揮AI能力來提供更多的特效應(yīng)用場景，使得剪輯功能更加強(qiáng)大、更加智能。華為官方剪輯軟件花瓣剪輯在接入視頻編輯服務(wù)能力后，用戶可通過使用專屬濾鏡、人物追蹤等AI視頻剪輯功能（部分特性隨花瓣剪輯App升級陸續(xù)開放），讓視頻剪輯更便捷和更富有趣味性。
MindSpore Lite致力于打造高性能、超輕量級的全場景 AI引擎，除高性能內(nèi)核算法及硬件異構(gòu)調(diào)度、量化壓縮之外，還提供端云協(xié)同的一站式訓(xùn)練和推理能力。HMS Core視頻編輯服務(wù)基于MindSpore Lite，助力開發(fā)者打造更加易用且智能的剪輯工具。
欲了解更多信息，歡迎訪問官網(wǎng)
本文摘自 ：https://blog.51cto.com/u
