Samtang ang mga tigpaniid nahingangha sa mga abilidad sa bag-ong generative AI nga mga himan sama sa ChatGPT, BERT, LaMDA, GPT-3, DALL-E-2, MidJourney, ug Stable Diffusion, ang mga tinago nga mga gasto sa kinaiyahan ug epekto niini nga mga modelo kanunay nga mataligam-an. Ang pag-uswag ug paggamit sa kini nga mga sistema labi ka kusog sa enerhiya ug ang pagpadayon sa ilang pisikal nga imprastraktura nag-apil sa pagkonsumo sa kuryente. Sa pagkakaron, kini nga mga himan nagsugod pa lang sa pag-angkon sa mainstream nga traksyon, apan makatarunganon nga hunahunaon nga kini nga mga gasto andam nga motubo – ug mahinuklugong – sa umaabot nga umaabot.
Ang industriya sa data center, nga nagtumong sa pisikal nga pasilidad nga gidesinyo sa pagtipig ug pagdumala sa mga sistema sa teknolohiya sa impormasyon ug komunikasyon, maoy responsable sa 2–3% sa global greenhouse gas (GHG) mga emisyon. Ang gidaghanon sa datos sa tibuok kalibutan nagdoble sa gidak-on matag duha ka tuig. Ang mga server sa data center nga nagtipig niining nagkalapad nga dagat sa impormasyon nanginahanglan daghang kusog ug tubig (direkta alang sa pagpabugnaw, ug dili direkta alang sa pagmugna og dili mabag-o nga elektrisidad) aron magamit ang mga server sa kompyuter, kagamitan, ug mga sistema sa pagpabugnaw. Kini nga mga sistema nag-asoy sa palibot 7% sa Denmark ug 2.8% sa Estados Unidos paggamit sa kuryente.
Hapit tanan nga labing nailhan nga generative AI nga mga modelo gimugna sa “hyperscale” (dako kaayo) nga cloud providers nga adunay liboan ka mga server nga naghimo og dagkong carbon footprints; sa partikular, kini nga mga modelo nagdagan sa graphics processing unit (GPU) chips. Nagkinahanglan kini og 10–15 ka pilo sa enerhiya nga gikinahanglan sa tradisyonal nga CPU tungod kay ang GPU naggamit ug mas daghang transistor sa arithmetic logic units. Sa pagkakaron, ang tulo ka nag-unang hyperscale cloud providers mao ang Amazon AWS, Google Cloud, ug Microsoft Azure.
Kung maningkamot kita nga masabtan ang epekto sa kalikopan sa ChatGPT pinaagi sa lente sa carbon footprint, kinahanglan naton nga masabtan una ang siklo sa kinabuhi sa carbon footprint sa mga modelo sa pagkat-on sa makina (ML). Mao kana ang yawe sa pagsugod sa paghimo sa generative AI nga mas greener pinaagi sa mas ubos nga konsumo sa enerhiya.
Unsa ang Nagtino sa Carbon Footprint sa Generative AI Models?
Ang tanan nga dagkong generative nga mga modelo dili managsama sa termino sa ilang paggamit sa enerhiya ug carbon emissions. Sa pagtino sa carbon footprint sa usa ka modelo sa ML, adunay tulo ka managlahi nga mga bili nga ikonsiderar:
- ang carbon footprint gikan sa pagbansay sa modelo
- ang carbon footprint gikan sa running inference (pag-infer o pagtagna sa mga resulta gamit ang bag-ong input data, sama sa prompt) uban sa ML nga modelo sa higayon nga kini ma-deploy na, ug
- ang carbon footprint nga gikinahanglan aron makahimo sa tanang gikinahanglan nga computing hardware ug cloud data center nga kapabilidad.
Ang mga modelo nga adunay daghang mga parameter ug datos sa pagbansay sa kasagaran mokonsumo og daghang enerhiya ug makamugna og daghang carbon. GPT-3, ang “ginikanan” nga modelo sa ChatGPT, anaa sa o duol sa ibabaw sa generative modelo sa gidak-on. Kini adunay 175 bilyon nga mga parameter sa modelo ug gibansay sa kapin sa 500 bilyon nga mga pulong sa teksto. Sumala sa usa artikulo sa panukiduki, ang bag-o nga klase sa generative AI nga mga modelo nanginahanglan usa ka napulo ngadto sa usa ka gatos ka pilo nga pagtaas sa gahum sa pag-compute aron mabansay ang mga modelo sa miaging henerasyon, depende kung unsang modelo ang nalambigit. Busa ang kinatibuk-ang panginahanglan nagdoble matag unom ka bulan.
Ang mga modelo sa pagbansay mao ang labing kusog nga mga sangkap sa generative AI. Mga tigdukiduki nangatarungan nga ang pagbansay sa usa ka “usa ka dako nga pinulongan nga lawom nga modelo sa pagkat-on” sama sa OpenAI’s GPT-4 o Google’s PaLM gibanabana nga mogamit mga 300 tonelada nga CO2 – alang sa pagtandi, ang kasagaran nga tawo ang responsable sa paghimo mga 5 ka tonelada sa CO2 sa usa ka tuig, bisan pa ang kasagaran nga North American makamugna pila ka beses ang kantidad. Ang uban mga tigdukiduki gikalkulo nga ang pagbansay sa usa ka medium-sized nga generative AI nga modelo gamit ang usa ka teknik nga gitawag og “neural architecture search” migamit sa elektrisidad ug konsumo sa enerhiya nga katumbas sa 626,000 ka tonelada nga CO2 emissions – o parehas sa CO2 emissions nga nagmaneho sa lima ka kasagaran nga American nga mga sakyanan sa tibuok nilang kinabuhi. Ang pagbansay sa usa ka modelo nga BERT (usa ka dako nga modelo sa lengguwahe nga gimugna sa Google) gikan sa wala magkinahanglan sa parehas nga kusog ug carbon footprint ingon usa ka komersyal nga trans-Atlantic nga paglupad.
Ang inference, o paggamit sa mga modelo aron makakuha og mga tubag sa mga aghat sa tiggamit, naggamit og gamay nga kusog sa matag sesyon, apan sa kadugayan naglakip sa daghang mga sesyon. Usahay kini nga mga modelo gibansay kausa ra, ug dayon i-deploy sa panganod ug gigamit sa milyon-milyon nga mga tiggamit alang sa inference. Niana nga kahimtang, ang pag-deploy sa dagkong mga modelo sa lawom nga pagkat-on ngadto sa panganod alang sa mga katuyoan sa inference nagkonsumo usab og daghang kusog. Mga analista report Gibanabana sa NVIDIA nga 80-90% sa gasto sa enerhiya sa mga neural network anaa sa padayon nga pagproseso sa inference pagkahuman nabansay ang usa ka modelo.
Dugang pa sa inisyal nga pagbansay ug inference nga paggamit sa enerhiya sa dagkong generative nga mga modelo, ang mga tiggamit ug mga tigbaligya niini nga mga modelo nagkadaghang naggamit. fine-tuning o paspas nga nakabase sa pagbansay. Kung gikombinar sa orihinal nga generative nga modelo nga gibansay sa daghang mga volume sa datos, ang fine-tuning nagtugot sa mga pag-aghat ug mga tubag nga gipahaum sa piho nga sulud sa usa ka organisasyon. Ang uban panukiduki nagsugyot nga ang maayo nga pag-tune nga pagbansay naggamit ug gamay nga kusog ug gahum sa pag-compute kaysa sa una nga pagbansay. Bisan pa, kung daghang mga organisasyon ang nagsagop sa mga pamaagi sa pag-ayo ug buhaton kini kanunay, ang kinatibuk-ang konsumo sa enerhiya mahimong taas.
Bisan tuod lisud ang pagkalkulo sa gasto sa paghimo sa mga kompyuter nga gikinahanglan sa pagpadagan niining tanan nga AI software, adunay rason sa pagtuo nga kini taas kaayo. Sa usa ka 2011 nga pagtuon gibana-bana nga 70% sa enerhiya nga gigamit sa usa ka tipikal nga laptop computer naa sa panahon sa paghimo niini, ug nga ang mga desktop computer mas taas pa. Lagmit nga ang komplikado ug gamhanan nga GPU chips ug mga server nga gigamit sa pagpadagan sa mga modelo sa AI mas taas kay sa mga laptop ug desktop.
Giunsa paghimo ang AI nga mas berde
Gihatag ang tanan niana, adunay usa ka kalihukan aron mahimo ang AI modelling, deployment, ug paggamit nga mas malungtaron sa kalikopan. Ang katuyoan niini mao ang pag-ilis sa mga pamaagi nga gigutom sa gahum sa labi ka angay ug mahunahunaon sa kalikopan nga mga kapuli. Kinahanglan ang pagbag-o gikan sa mga tigbaligya ug tiggamit aron mahimo nga berde ang mga algorithm sa AI aron ang ilang gamit mahimong kaylap nga ma-deploy nga wala’y kadaot sa kalikopan. Ang mga generative nga modelo ilabina, tungod sa ilang taas nga konsumo sa enerhiya, kinahanglan nga mahimong mas lunhaw sa dili pa kini mahimong mas kaylap. Nahibal-an namon ang daghang lainlaing mga paagi diin ang AI ug generative AI mahimong molihok sa kini nga direksyon, nga among gihulagway sa ubos.
Gamita ang kasamtangan nga dagkong generative nga mga modelo, ayaw paghimo og imong kaugalingon. Adunay daghan na nga mga tighatag sa dagkong pinulongan ug mga modelo sa imahe, ug adunay daghan pa. Ang paghimo ug pagbansay kanila nanginahanglan daghang kusog. Adunay gamay nga panginahanglan alang sa mga kompanya gawas sa dagkong mga vendor o cloud providers nga makamugna sa ilang kaugalingong dagkong mga modelo gikan sa wala. Naa na silay access sa gikinahanglan nga datos sa pagbansay ug daghang gidaghanon sa kapabilidad sa pag-compute sa panganod, mao nga dili na nila kinahanglan nga makuha kini.
Pag-ayo sa tren sa kasamtangan nga mga modelo. Kung gusto sa usa ka kompanya ang usa ka generative nga modelo nga gibansay sa kaugalingon nga sulud, dili kini kinahanglan nga magsugod gikan sa wala aron mabansay ang usa ka modelo apan hinunoa pagpino ang usa ka naa na nga modelo. Ang maayo nga pag-tune ug dali nga pagbansay sa piho nga mga domain sa sulud nagkonsumo og labi ka gamay nga kusog kaysa pagbansay sa bag-ong mga dagkong modelo gikan sa wala. Makahatag usab kini og dugang nga kantidad sa daghang mga negosyo kaysa mga modelo nga gibansay sa kadaghanan. Kinahanglan nga kini ang panguna nga pokus sa mga kompanya nga gusto nga magsagop sa mga generative nga modelo alang sa ilang kaugalingon nga sulud.
Gamit ug mga pamaagi sa pagkuwenta nga makadaginot sa enerhiya. Ang laing paagi sa pagpakunhod sa generative AI energy consumption mao ang paggamit sa dili kaayo computationally mahal nga mga pamaagi sama sa TinyML sa pagproseso sa datos. Ang TinyML framework nagtugot sa mga tiggamit sa pagpadagan sa mga modelo sa ML sa gagmay, ubos nga gahum nga mga himan sa kilid sama sa mga microcontroller nga adunay ubos nga bandwidth nga mga kinahanglanon (dili kinahanglan nga ipadala ang data ngadto sa server alang sa pagproseso). Samtang ang mga kinatibuk-ang CPU naggamit sa usa ka average nga 70 watts nga gahum ug ang mga GPU nagkonsumo sa 400 watts nga gahum, ang usa ka gamay nga microcontroller nagkonsumo lang ug pipila ka gatus nga microwatts – usa ka libo ka beses nga mas gamay nga gahum – aron maproseso ang data sa lokal nga wala ipadala kini sa mga data server.
Gamita lang ang usa ka dako nga modelo kung kini nagtanyag hinungdanon nga kantidad. Importante nga mahibal-an sa mga data scientist ug developers kung asa ang modelo naghatag og bili. Kung ang paggamit sa usa ka 3x nga labi nga gigutom nga sistema sa gahum nagdugang sa katukma sa usa ka modelo sa 1-3% ra nan dili kini takus sa dugang nga konsumo sa enerhiya. Sa mas lapad, machine learning ug artificial intelligence dili kanunay gikinahanglan aron masulbad ang usa ka problema. Kinahanglang mag-research ug mag-analisa una ang mga developers sa daghang alternatibong solusyon ug mopili og pamaagi sumala sa mga resulta. Ang Montreal AI Ethics Institutepananglitan, aktibo nga nagtrabaho sa kini nga problema.
Pagmaalamon kung kanus-a nimo gigamit ang generative AI. Ang pagkat-on sa makina ug mga gamit sa NLP rebolusyonaryo alang sa mga problema sa kahimsog nga may kalabotan sa medikal ug panagna. Maayo sila sa pagtagna sa mga natural nga peligro sama sa tsunami, linog, ug uban pa. Kini mga mapuslanon nga aplikasyon, apan ang mga himan alang lamang sa paghimo og mga post sa blog o paghimo og mga istorya nga makalingaw mahimo’g dili ang labing kaayo nga gamit para sa kini nga mga himan nga bug-at sa pagkalkula. Mahimo nga labi pa nga nahurot nila ang kahimsog sa yuta kaysa sa pagtabang sa mga tawo niini. Kung ang usa ka kompanya naggamit sa generative AI alang sa paghimo sa sulud, kinahanglan nga sulayan nga masiguro nga ang mga modelo gigamit lamang kung gikinahanglan o aron makunhuran ang ubang mga gasto sa pag-compute, nga kinahanglan usab nga makunhuran ang ilang kinatibuk-ang mga badyet sa pag-compute.
Timbang-timbanga ang mga tinubdan sa enerhiya sa imong cloud provider o data center. Ang AI (ug software sa kinatibuk-an) nga carbon intensity mahimong maminusan pinaagi sa pagdeploy og mga modelo sa mga rehiyon nga makagamit sa environment friendly power resources ug carbon friendly. Kini nga praktis nagpakita sa 75% nga pagkunhod sa mga emisyon sa operasyon. Pananglitan, ang usa ka modelo nga gibansay ug naglihok sa US mahimong mogamit sa enerhiya gikan sa fossil fuel, apan ang parehas nga modelo mahimong ipadagan sa Quebec diin ang panguna nga gigikanan sa enerhiya mao ang hydroelectric. Google bag-o lang nagsugod sa pagtukod og $735 milyones nga sentro sa datos sa limpyo nga enerhiya sa Quebec ug nagplano nga mobalhin ngadto sa 24/7 nga carbon-free nga enerhiya sa 2030. Nagtanyag usab kini og “Carbon Sense Suite” aron matabangan ang mga kompanya nga makunhuran ang konsumo sa enerhiya sa ilang mga buluhaton sa panganod. Ang mga tiggamit sa cloud providers mahimong makamonitor sa mga pahibalo sa mga kompanya mahitungod sa kanus-a ug giunsa nila pag-deploy ang carbon-neutral o zero-carbon nga tinubdan sa enerhiya.
Gamita pag-usab ang mga modelo ug mga kapanguhaan. Sama sa ubang mga materyales, ang teknolohiya mahimong magamit pag-usab. Ang mga open-source nga mga modelo mahimong gamiton kay sa pagbansay sa mga bag-o. Ang pag-recycle makapaubos sa epekto sa mga gawi sa AI nga naggama og carbon. Ang mga hilaw nga materyales mahimong makuha aron makahimo og bag-ong mga henerasyon sa pinakabag-o nga mga laptop, processor, hard drive, ug daghan pa.
Iapil ang kalihokan sa AI sa imong pag-monitor sa carbon. Ang mga gawi sa pagmonitor sa carbon kinahanglan nga gisagop sa tanan nga mga lab sa panukiduki, mga tigbaligya sa AI, ug mga kompanya nga naggamit sa AI aron mahibal-an kung unsa ang ilang carbon footprint. Kinahanglan usab nila nga ipahibalo ang ilang mga numero sa footprint aron ang ilang mga kostumer makahimo og intelihenteng mga desisyon bahin sa pagbuhat sa negosyo nga may kalabotan sa AI uban kanila. Ang kalkulasyon sa GHG emissions nagdepende sa data sets sa data suppliers ug processing firms sama sa research labs ug AI-based service providers sama sa OpenAI. Gikan sa pagsugod sa mga ideya hangtod sa imprastraktura nga magamit aron makakuha mga resulta sa panukiduki, ang tanan kinahanglan nga magsunod sa berde nga pamaagi sa AI. Adunay daghang mga pakete ug mga gamit sa online nga magamit sama CodeCarbon, Green nga mga algorithmug Epekto sa ML CO2nga mahimong iapil sa imong code sa runtime aron mabanabana ang imong mga emisyon ug kinahanglan namo nga dasigon ang developer nga komunidad sa pagkonsiderar niini nga performance metrics aron makatukod og mga benchmark ug sa pagtimbang-timbang sa mga modelo sa ML.
Siyempre, adunay daghang mga konsiderasyon nga nalangkit sa paggamit sa generative AI nga mga modelo sa mga organisasyon ug indibidwal: etikal, legal, ug bisan pilosopikal ug sikolohikal. Ang mga kabalaka sa ekolohiya, bisan pa, takus nga idugang sa pagsagol. Mahimo natong debatehan ang dugay nga umaabot nga mga implikasyon sa kini nga mga teknolohiya alang sa katawhan, apan ang ingon nga mga konsiderasyon mahimong moot kung wala kita’y puy-anan nga planeta aron pagdebatehan kini.
