Az AI ipar áramhiánnyal küzd - Brian Lunduke poszt

Nagyon érdekes poszt jelent meg Brian Lunduke-tól: az AI ipar áramhiánnyal küzd. Olyan elképesztő áramigényük van, hogy az AI központok telepítése és üzemeltetése abba a problémába ütközik, hogy nincs elég áram hozzá a piacon. Link: https://lunduke.locals.com/post/5439151/the-a-i-industry-is-about-to-ru…

A legutóbbi Brian Lunduke-os blogposztom óta követem Lunduke-ot. A tartalmai ingyen elérhetőek, de locals.com accountot csinálni kell és talán fel kell iratkozni a hírlevélre is. Nem bántam meg, hogy feliratkoztam, így jutott el hozzám ez a mostani hír is. Valamelyik "Linux sucks" videójában egyébként arról is beszélt, hogy a Linuxos és általában az informatikai újságírás is válságban van, mert érdekes és lényeges témákról "elfelejtenek" beszámolni. Nem úgy Brian Lunduke, aki egy rakás olyan témáról is beszámol, amiről máshol nem lehet hallani.

További érdekesség, hogy a csatornáját törölték Youtuberól, ami szerintem egy újabb fokazata a politikai cenzúrának: https://lunduke.locals.com/post/5423131/the-lunduke-journal-has-been-ba…

( joco01 v | 2024. 03. 27., sze – 19:10 )

És hasonlítsd össze, milyen intelligencia fut 8 milliárd ember agyában, amihez csak néha enni-inni kell egy kicsit.

( khiraly | 2024. 03. 27., sze – 20:10 )

ez most cikk vagy video? (mert cikket nem talalok)

Saying a programming language is good because it works on all platforms is like saying anal sex is good because it works on all genders....

Ezért hívtam "poszt"-nak, és nem cikknek. Bocs, ha átverve érzed magad, sajnos ezt írott formában én sem találtam meg, videó van csak. Ráadásul loginwall mögött és talán subscribe-wall mögött is. Ez van, ez a tartalom ilyen, meg kell szenvedni érte. Nekem megérte - élvezettel hallgatom Lunduke-ot a stílusa miatt is -, de megértem ha neked nem éri meg.

( godot v | 2024. 03. 27., sze – 20:46 )

Miért nem vesznek pár leállított bitcoin bányát? :).

( csortu v | 2024. 03. 28., cs – 07:56 )

Nagyon érdekes témakör. Ha igaz az állítás (amit a rendelkezésre álló adatok alapján én nem tudok eldönteni), akkor ez limitáló faktor lehet az AI alkalmazások széleskörű terjedésében. Azaz, lehet, hogy a mesterséges intelligencia alapú technológia meglesz az "összes" orvos/kóder/könyvelő stb kiváltásához, de pl az áramhiány miatt annyira drága lesz ezeket üzemeltetni, hogy nem lesz rá "keret" a teljes lecserélést meglépni. Kíváncsian követem a fejleményeket.

(És lehet kicsit tovább is gondolkodni: később lehet, hogy nem csak az áram lesz limitáló faktor, hanem lesz majd más is. Ugye az exponenciális növekedés az egyik pillanatban jelentéktelen faktorokból alig pár lépésben valós limitet tud képezni. Korlátlan exponenciális növekedés zárt rendszerben nem létezik, valahol mindig lesz korlát.)

Csaba

Jelenleg inkabb azt latom limitacionak, hogy keves a jo minosegu tanuloadat. A transzformerre alapulo LLM-ek kulonosen kuzdenek ezzel: megkapja az elmeletet, meg valamennyi peldat. Ha valamilyen temaban kerdezel tole, tud elmeleti kerdesekre valaszolni, de ezt nem tudja atultetni a gyakorlatba, hanem azokbol a peldakbol kulon tanultat tudja hasznalni.

Az architektura jol tud skalazodni x parameterrol 10x-re, de a tultanulas ellen kell 10x annyi tanuloadat is, az meg nem nagyon lesz.

A strange game. The only winning move is not to play. How about a nice game of chess?

( hunluki | 2024. 03. 28., cs – 08:04 )

Szerkesztve: 2024. 03. 28., cs – 08:06

Építsenek datacentert napelemfarm mellé. Lehet AI-val megjósoltatni hogy mikor lesz napsütés és oda szervezni a nagyobb loadokat :)

Amúgy viccen kívül: Ha a datacenter lenyeli akkor nem kell negatív áron exportálni, valószínűleg tud kötni egy előnyös szerződést mert olcsón hozzájut ha sok a felesleges termelés és még a marketinggépezet is darálhat hogy zöldéáj.

Igen, ez egy elképzelhető alternatíva, de ha belegondolsz elég sokat ront a megtérülésen, hogy 24 óra helyett jó esetben csak napi 8-at cseveghetsz a Chat Dzsepettóval. Vagy Devinnel, aki a legújabb nagyokos.

Még azt is el tudom képzeni, hogy a neten át mindig áttöltik Dzsepettó agyát oda ahol éppen süt a nap :-)

Egyébként ez is érdekes téma: https://www.youtube.com/watch?v=e2HzKY5imTE (Our Terrible Future And Open Source | Prime Reacts) röviden: egy AI potenciális biztonsági réseket riportol, de rengeteg a fals-pozitív, ami munkával floodolja a fejlesztőt, aki így nem tud érdemben haladni. Konkrétan a curl projektnek küldött issue és annak a follow-up kommunikációja van kielemezve a videón, de a probléma általánosságban is érdekes. Az AI elfloodolhatja az embert nonszensszel ha nem vigyázunk.

( zeroms | 2024. 03. 28., cs – 12:43 )

Szerkesztve: 2024. 03. 28., cs – 12:43

We can't put more than 100K H100s in a single state without bringing down the power grid.
 

Gyors szamolas utan 8x H100 SXM5 per szerver, hutessel ~10kW (jol saccoltam?).

Tehat az osszfogyasztas 100000×10÷8÷1000 = 125MW
Ez napra levetitve 125MW x 24h ÷ 1000 = 3GWh, ami ~90GWh egy honap alatt.

Ez teljesen megujulobol mennyire lenne koltseges?

Attol fugg. Milyen gyakran akarod ujrahuzni az egeszet jegeso miatt?

Texasban pont most volt. :-/

Amugy valoszinuleg jobban megeri fel-le transzformalni a villanyt a szallitas miatt, es a gepeket inkabb hidegebb allamba tenni a hutes miatt.

A strange game. The only winning move is not to play. How about a nice game of chess?

( evone | 2024. 03. 29., p – 07:02 )

ilyenkor hol vannak azok a bitkojn betiltásáert imádkoztak mer’ az túl sok áramot használ el a gaymer pécéjük elől? 🤣🤣

( NevemTeve | 2024. 04. 01., h – 20:15 )

Miért nrm kérnek tanácsot a mesterséges intelligenciától? Én megkérdeztem az egyik okosszoftvert, azt mondta, hogy már kidolgozott egy jobb társadalomszervezési modellt, amiből sikeres mozifilm készült Vektor vagy Tenzor vagy ilyesmi címmel.