想象一下，用戶在智能手機上編輯視頻時需要完美的音效，或者希望為自己的鈴聲、鬧鐘或社交媒體帖子生成自定義聲音。用戶無需在線搜索或購買音頻片段，只需輸入描述——“日落時輕柔的海浪聲”——幾秒鐘內(nèi)，設備便能生成完美的聲音，甚至無需連接互聯(lián)網(wǎng)。這種無縫、即時的音頻生成完全在設備上完成，這已經(jīng)成為現(xiàn)實，這要歸功于Arm與Stability AI的一項新合作。
Arm與Stability AI合作加速文本到音頻的響應時間
為了實現(xiàn)這一目標，開發(fā)圖像、視頻、3D和音頻AI模型的Stability AI利用了Arm KleidiAI，后者提供了針對Arm CPU優(yōu)化的性能關鍵例程——稱為微內(nèi)核。通過將KleidiAI集成到XNNPack庫和ExecuTorch框架中，并結合Stability AI自身的優(yōu)化，團隊在Stability AI的文本到音頻開源模型“Stable Audio Open”上實現(xiàn)了顯著的AI性能提升。
結果非常顯著。文本到音頻AI生成的時間從幾分鐘大幅縮短至幾秒鐘，響應速度提升了30倍。這一切都是在Arm CPU的智能手機設備上完全運行Stable Audio Open模型實現(xiàn)的——這是文本到音頻AI的首次突破——且無需互聯(lián)網(wǎng)連接。
Stability AI利用KleidiAI的自動加速功能加快了模型響應速度，從而提升了設備上的AI性能，同時不犧牲質量。 這些KleidiAI的性能提升無需Stable Audio Open模型的用戶進行額外的開發(fā)工作，節(jié)省了時間和成本。Arm和Stability AI將繼續(xù)合作，實施更多性能改進，進一步提升這一卓越的AI用戶體驗。
這些顯著的改進表明，通過有針對性的硬件和軟件集成，以前無法實現(xiàn)的AI應用在移動設備上變得可行，為未來的創(chuàng)新機會提供了動力。這也意味著，先進的AI音頻功能現(xiàn)在可以被全球數(shù)十億智能手機用戶使用，而全球99%的智能手機都基于Arm技術。
共同解決復雜的AI挑戰(zhàn)
盡管Stable Audio Open模型效率很高，但直接在智能手機CPU上運行它仍面臨重大挑戰(zhàn)。最初的嘗試導致單個音頻樣本的生成時間超過四分鐘，這使得用戶體驗變得不切實際。
通過與Arm合作，Stability AI將模型精簡到適合移動設備的可訓練參數(shù)數(shù)量。隨后，Stability AI利用XNNPack和ExecuTorch集成中的KleidiAI性能加速功能，使該模型能夠在Arm CPU上在幾秒鐘內(nèi)生成音頻片段。
Stability AI首席執(zhí)行官Prem Akkaraju表示：
“隨著越來越多的專業(yè)創(chuàng)作者和企業(yè)采用生成式AI來推動他們的生產(chǎn)流程，我們的模型和工作流程必須隨處可用，以便開發(fā)者開發(fā)和創(chuàng)作者創(chuàng)作。我們很高興與Arm合作，正是因為這一點。Arm在從服務器到智能手機的生態(tài)系統(tǒng)中的普及性，以及通過將Arm Kleidi集成到軟件棧中來加速所有流行框架中的AI模型的工作，使其成為我們的不二之選。”
文本到音頻AI的崛起
自2022年以來，Stability AI一直處于生成式AI革命的前沿，最初憑借行業(yè)領先的圖像模型Stable Diffusion引起了廣泛關注。在此基礎上，該公司隨后推出了Stable Audio，這是首批完全授權的音頻模型之一，旨在從文本提示生成高質量的音樂和音效。這些模型在Hugging Face等領先平臺上名列前茅，吸引了數(shù)百萬用戶使用這些工具。
Arm與Stability AI在MWC上的展示
在2025年世界移動通信大會（MWC）上，Arm和Stability AI將在2號館I60展位的Arm展臺上展示KleidiAI加速在Stable Audio Open模型上的成果。演示使用Stability AI的模型和工作流程生成，并全部在基于Arm的硬件上離線執(zhí)行，其中包括搭載最新Armv9 CPU的聯(lián)發(fā)科天璣9400的vivo X200系列旗艦智能手機。
先進的音頻AI體驗觸手可及
這只是Arm與Stability AI合作的開始，未來還將有更多性能優(yōu)化計劃，以進一步提升用戶體驗。通過合作，我們正在為設備上的AI在音頻、圖像、視頻和3D領域的應用奠定基礎，重塑每個人創(chuàng)建內(nèi)容以及與數(shù)字媒體互動的方式。通過精簡高級模型并利用優(yōu)化軟件在無處不在的硬件上運行，我們正在為一個未來鋪平道路，在這個未來中，復雜的AI應用、模型和體驗將觸手可及，直接來自我們口袋中的設備。
雖然許多AI驅動的應用程序（如Suno和Udio）可以生成音頻，但大多數(shù)依賴于云處理，這意味著它們無法離線使用。此外，一些音頻生成模型是在受版權保護的內(nèi)容上訓練的，這帶來了知識產(chǎn)權風險。Stability聲稱，Stable Audio Open的訓練集完全由免版稅的音頻和歌曲組成。
需要明確的是，優(yōu)化后的Stable Audio Open模型目前還不能下載——至少現(xiàn)在還不能。但Stability首席執(zhí)行官Prem Akkaraju在一份聲明中暗示，Stability未來將努力將其模型（包括Stable Audio Open）引入消費者應用程序和設備中。
Stability是廣受歡迎的圖像生成模型Stable Diffusion背后的公司，盡管近年來面臨困境，但去年該公司獲得了包括埃里克·施密特（Eric Schmidt）和Napster創(chuàng)始人肖恩·帕克（Sean Parker）在內(nèi)的投資者的新資金注入，試圖扭轉局面。據(jù)報道，Stability的聯(lián)合創(chuàng)始人兼前首席執(zhí)行官Emad Mostaque將公司管理不善，導致財務崩潰，員工辭職，與Canva的合作破裂，投資者對公司的前景感到擔憂。
在過去的幾個月里，Stability聘請了一位新CEO，任命《泰坦尼克號》導演詹姆斯·卡梅隆（James Cameron）為其董事會成員，并發(fā)布了多個新的圖像生成模型。作為少數(shù)特別重視聲音制作的大導演，期待卡梅隆。
|
