高通展示在安卓設備上運行ControlNet 生成一張圖僅需11.26秒 每日消息
站長之家(ChinaZ.com)6月25日 消息:近日,高通在IEEE/CVF計算機視覺和模式識別年會上展示了在智能手機上運行生成式AI模型的進一步進展。
今年2月,Stable Diffusion在一臺運行高通最新驍龍8Gen2芯片的智能手機上能夠在不到15秒的時間內生成一張圖片。當時這個時間被認為是創紀錄的,但隨后不久就被研究人員多次打破了。它可能類似于高通公司目前在智能手機上使用ControlNet生成圖片。該公司使用15億參數的圖像到圖像模型,從開始到完成的時間為11.26秒。
(相關資料圖)
生成AI圖像通常需要一臺快速的計算機,根據高通展示的效果,通過優化硬件和軟件,智能手機也可以完成這項工作。
雖然OpenAI和Midjourney為他們的圖像生成器提供了專用服務器,并向客戶收取費用,但Stable Diffusion也可以在硬件上運行。要在合理的時間內生成高質量的圖像,計算機將需要一張不錯的顯卡。其他為AI計算優化的芯片設備,如蘋果的硅芯片Mac或iPhone,也可以完成這項工作。針對這些系統的Stable Diffusion客戶端已經有一段時間了。
現在,高通首次展示了在一款搭載其芯片的安卓智能手機上進行的Stable Diffusion圖像生成。
據了解,高通驍龍8Gen2芯片于2022年底推出,預計將于今年搭載在各個制造商的高價位安卓智能手機,比如最近宣布的三星Galaxy S23。根據高通的說法,通過量化、編譯和硬件加速,他們成功在該芯片上運行了Stable Diffusion。
基于Stable Diffusion的所謂圖像生成器已經在谷歌應用商店上出現了。然而,這些只是依賴服務器計算能力的Web界面,因此需要互聯網連接。而在智能手機上直接運行Stable Diffusion則不需要互聯網連接,這會占用一些存儲空間。
據稱,一張512x512像素、經過20次推理處理的圖像在高通芯片上僅需不到15秒。該應用程序還提供了修補、圖像編輯、風格轉換和超分辨率等功能。所有這些都可以在設備上離線使用。
Stable Diffusion是否會在安卓智能手機上廣泛可用還有待觀察。首先,高通的視頻只是一個概念驗證,目前還沒有相應的應用程序,而且可能需要一款新的高端智能手機。
其次,像Midjourney和DALL-E2這樣的商業替代方案在使用上更便捷,在付出較少努力的情況下能夠獲得更好的結果。然而,能夠在智能手機上執行這些計算密集型任務的技術進步仍然是令人矚目的。
作為全球第二大智能手機芯片制造商,高通已經多年來一直在探索人工智能。2018年,該公司宣布在其最新的智能手機芯片中優化了針對AI任務的"神經處理單元"。同年,該公司對人工智能初創企業投資了1億美元。
2022年6月,高通通過其AI堆棧為更多多樣化的AI應用鋪平了道路,該堆棧結合了多個用于移動芯片(如智能手機、汽車或耳機中的芯片)開發的AI工具。據高通稱,這里展示的Stable Diffusion應用程序也是使用AI堆棧在智能手機上實施和優化的。