大語言模子正在遭到各大科技公司和科研機構(gòu)的鼎力推進，操縱其能夠幫忙我們做良多工作，但一個比力容易被輕忽的點是，那些大模子的訓(xùn)練和運行需要龐大的能量，上千億參數(shù)的模子往往需要數(shù)百萬 GPU 小時來訓(xùn)練，從而會產(chǎn)生大量碳腳印。

另一個問題是，它們的碳腳印到底有多大仍然是一個謎，對其權(quán)衡評估也還沒有一個尺度辦法。

（來源：《麻省理工科技評論》）

近日，人工智能草創(chuàng)公司 Hugging Face 對外暗示，它提出了一種新的、更好的辦法，來更切確地計算模子產(chǎn)生的碳排放量，而且是評估其整個生命周期，而不單單是訓(xùn)練期間。

那可能是科技公司在評估 AI 產(chǎn)物碳腳印上邁出的一大步。相關(guān)專家們也在呼吁該行業(yè)更好地評估 AI 對情況的影響，那有利于更好地利用那些模子和數(shù)據(jù)。

同時，該方面的摸索還可能鞭策人們轉(zhuǎn)向更有效的 AI 研究體例，好比微調(diào)現(xiàn)有模子，而不是一味建造更大的模子。

關(guān)于此次工做，Hugging Face 也頒發(fā)了一篇題為《預(yù)算 1*60 億參數(shù)語言模子 BLOOM 的碳腳印》（Estimating the Carbon Footprint of BLOOM, a 1*6B Parameter Language Model）的論文，并于近日提交在 arXiv 預(yù)印本平臺。

該公司為測試其新辦法，估量了本年早些時候推出的大語言模子 BLOOM 的總排放量。那個過程涉及許多差別方面的疊加，包羅在超等計算機上訓(xùn)練模子的能量、造造超等計算機硬件和維護其計算根底設(shè)備的能量，以及運行 BLOOM 所需的能量等。

研究人員最初利用了名為 Code Carbon 的軟件東西，來實時跟蹤計算 BLOOM 在 18 天內(nèi)產(chǎn)生的碳排放量。并估量得出，BLOOM 訓(xùn)練所產(chǎn)生的碳排放達 2* 噸，而在考慮到用來訓(xùn)練的計算機設(shè)備和更普遍的計算根底設(shè)備，以及現(xiàn)實運行 BLOOM 所需的能量時，碳排放量增長了一倍。

圖 | 運行 BLOOM 模子的均勻功率顛簸（來源：arXiv）

關(guān)于一個模子來說，*0 噸的碳排放量似乎已經(jīng)良多，但值得留意的是，BLOOM 的排放量要明顯低于其他不異規(guī)模的大語言模子。其是在一臺由核能供給次要動力（不會產(chǎn)生碳排放）的超等計算機上訓(xùn)練的，而其他模子訓(xùn)練所利用的能源更多地依賴化石燃料，污染要相對更嚴(yán)峻。

據(jù)領(lǐng)會，BLOOM 于 2022 年 * 月推出利用，Hugging Face 估量該模子每天會排放約 1* 千克的二氧化碳。

比擬之下，OpenAI 的 GPT-* （2020 年推出，1**0 億參數(shù)）和 Meta 的 OPT 模子（2022 年推出，1**0 億參數(shù)），在訓(xùn)練期間別離排放了約 *00 千克和 ** 千克的二氧化碳。GPT-* 的排放量較大，一部門原因是它在較舊、效率較低的硬件吉印通行訓(xùn)練的。

別的，以上數(shù)字只是基于外部估量或公司本身發(fā)布的有限數(shù)據(jù)，而實在的數(shù)據(jù)很難確定，目前沒有尺度化的辦法來權(quán)衡它們的碳排放。

Hugging Face 的目的是幫忙 AI 社區(qū)更好地領(lǐng)會大模子對情況的影響，以進一步優(yōu)化處置碳排放問題。

（來源：arXiv）

卡內(nèi)基梅隆大學(xué)計算機科學(xué)學(xué)院助理傳授艾瑪·斯特魯貝爾（Emma Strubell）對外說：“Hugging Face 的論文為開發(fā) AI 模子的機構(gòu)設(shè)定了新尺度，其是迄今對大模子碳腳印最徹底的闡發(fā)，比我所曉得的任何其他論文或陳述都要詳細?！?/p>

值得一提的是，雖然她沒有參與本次新研究，但其早在 201* 年就撰寫了一篇關(guān)于 AI 對天氣影響的創(chuàng)始性論文，題為《NLP 中深度進修的能量和政策考慮》（Energy and Policy Considerations for Deep Learning in NLP）。

能夠說，Hugging Face 供給了目前行業(yè)急需的量化語言模子碳腳印的辦法。其展現(xiàn)出的模子在生命周期的排放量之大也讓良多人感應(yīng)驚訝。不外，關(guān)于進一步評估大語言模子對情況的影響，仍有一些工做需要停止。

別的，值得留意的是，領(lǐng)會 AI 模子的詳細利用也非常重要，像谷歌和 Meta 等諸多大型科技公司，會通過 AI 模子來對用戶保舉內(nèi)容或?qū)υu論停止分類，那自己利用的功率很小，但每天會停止超十億次操做，那加起來就長短常大的能量消耗。

通過更好地領(lǐng)會 AI 的能源消耗量，可便利公司和開發(fā)人員在污染和成本之間做出更好的權(quán)衡，以在開發(fā) AI 模子的同時盡更大程度較少相關(guān)碳腳印。

天氣變革是人類目前面對的更大挑戰(zhàn)之一，其影響著世界各地的生態(tài)系統(tǒng)和人們的日常生活，評估和削減各行業(yè)的碳排放是減輕天氣影響的重要部門。

在論文最初，研究人員還討論了切確估量機器進修模子的碳腳印的難度和將來有助于改善碳排放的研究標(biāo)的目的。

參考材料：

021yin.com/2022/11/14/106*1*2/were-getting-a-better-idea-of-ais-true-carbon-footprint/