Infrastruktura AI: ukryta ekonomia mocy obliczeniowej

Inwestorów w oprogramowanie nauczono kochać 80-procentowe marże brutto. AI przywraca starą zmienną, o której prawie zapomnieli: koszt maszyny.
Przez dwie dekady ekonomia oprogramowania była cudownie prosta. Budowało się produkt raz, sprzedawało wiele razy, a krańcowy koszt kolejnego klienta był bliski zera. Chmura zamieniła infrastrukturę z inwestycji kapitałowej w koszt operacyjny i większość inwestorów w oprogramowanie w ogóle przestała myśleć o sprzęcie.
Duże modele AI to zmieniają.
Moc obliczeniowa staje się kosztem sprzedanych towarów
Za każdym razem, gdy ktoś zadaje pytanie ChatGPT, klaster procesorów graficznych musi przetworzyć zapytanie. Każde nowe pokolenie modeli wymaga treningu, który przez tygodnie pochłania ogromną moc obliczeniową. Sam Altman opisał niedawno koszty mocy obliczeniowej potrzebnej do działania ChatGPT jako „porażające”. Dla firm budujących na tych modelach koszt inferencji zaczyna wyglądać mniej jak hosting, a bardziej jak koszt sprzedanych towarów.
To zmienia pytania, które inwestorzy muszą zadawać. Nie tylko jaka jest dziś marża brutto, ale jak skaluje się ona wraz z użyciem? Jaki jest koszt jednego zapytania i jak szybko spada? Na ile firma zależy od jednego dostawcy chmury, jeśli chodzi o moce? Co się stanie, jeśli zabraknie procesorów graficznych?
Procesory graficzne jako aktywa strategiczne
Ten rok pokazał też, że moc obliczeniowa staje się kwestią geopolityczną. W październiku rząd USA wprowadził szerokie kontrole eksportu, ograniczające sprzedaż zaawansowanych chipów AI i sprzętu do produkcji chipów do Chin. Najbardziej zaawansowane procesory graficzne Nvidii dla centrów danych, A100 i świeżo ogłoszony H100, podlegają tym przepisom. Łańcuchy dostaw półprzewodników są dziś jawnym instrumentem strategii państw.
Jednocześnie badania opublikowane wiosną przez DeepMind, tak zwany artykuł o Chinchilli, pokazały, że wiele dużych modeli było trenowanych nieefektywnie i że więcej danych, a nie tylko więcej parametrów, może dać lepsze wyniki przy tej samej mocy obliczeniowej. To ważne przypomnienie, że wzrosty efektywności mogą szybko zmienić ekonomię i że dzisiejsze założenia o zapotrzebowaniu na moc obliczeniową mogą nie przetrwać długo.
Gdzie są okazje
Z perspektywy inwestycyjnej okazja wykracza daleko poza projektantów chipów.
Dostawcy chmury skorzystają na obciążeniach AI, ale będą też musieli mocno inwestować w specjalistyczny sprzęt. Operatorzy centrów danych mogą odkryć, że AI zmienia projektowanie obiektów: większa gęstość mocy, chłodzenie cieczą, inne lokalizacje. Firmy, które poprawiają wykorzystanie drogiego sprzętu dzięki lepszemu harmonogramowaniu, kompresji modeli czy wydajniejszej inferencji, mogą stać się cenne właśnie dlatego, że moc obliczeniowa jest droga. Rośnie też rynek specjalistycznych chipów projektowanych pod konkretne obciążenia AI.
Jako ktoś, kto zarządzał dużymi organizacjami usług IT, wiem, jak często moce infrastruktury są albo niewykorzystane, albo niedostępne w chwili, gdy są potrzebne. W AI oba błędy są kosztowne. Niewykorzystane procesory graficzne niszczą zwroty. Niedostępne niszczą czas wejścia na rynek.
Konsekwencja strategiczna
Uważam, że wchodzimy w okres, w którym kontrola nad mocą obliczeniową stanie się samodzielną przewagą konkurencyjną. Nie dla każdej firmy, bo większość będzie wynajmować, a nie posiadać. Ale dla tych, którzy konkurują na samej granicy, dostęp do mocy obliczeniowej może być równie ważny jak dostęp do talentów czy danych.
Dla zarządów ma to praktyczną konsekwencję. O strategii AI nie można już rozmawiać tylko w kategoriach zastosowań. Trzeba też mówić o koszcie transakcji, zależności od infrastruktury i ryzyku dostawcy.
Pytanie inwestycyjne: Czy kontrola nad mocą obliczeniową może stać się jedną z najważniejszych przewag konkurencyjnych w gospodarce AI?
