Nowe badanie MIT sugeruje, że największe i najbardziej oczywiste modele AI wkrótce zaoferują zmniejszenie wydajności w porównaniu z mniejszymi modelami. Mapując prawo Skalamenta dotyczące ciągłego doskonalenia wydajności modelu, badacze odkryli, że wykorzystanie gigantycznych skoków wydajności modeli może stać się trudniejsze, podczas gdy wzrost wydajności może spowodować, że w następnej dekadzie skromne modele sprzętowe będą.
„W ciągu najbliższych pięciu do dziesięciu lat sytuacja prawdopodobnie zacznie się zawężać” – mówi Neil Thompson, informator i profesor mitów zaangażowany w studio.
Skok wydajności, jaki zaobserwowano w styczniu w przypadku wyjątkowo taniego modelu Deepseek, posłużył już jako sprawdzian rzeczywistości dla branży AI, która przywykła do spalania ogromnych ilości obliczeń.
W obecnej sytuacji graniczny model firmy takiej jak Openii jest obecnie znacznie lepszy niż model ubrany w kawałek komputera z laboratorium akademickiego. Chociaż przewidywania Tima z MIT mogą nie zostać spełnione, jeśli na przykład nowe metody szkoleniowe, takie jak wzmacnianie uczenia się, dadzą zaskakujące nowe wyniki, sugerują one, że w przyszłości duże firmy będą miały mniej przedmiotów.
Hans Gundlach, badacz mitów, który przeprowadził analizę, zainteresował się tą kwestią ze względu na nieprzyjemny charakter prowadzenia najlepszych modelek. Razem z Thompsonem i Jaysonem Lynchem, innym badaczem mitów, skopiował przyszłe działanie modeli granicznych w porównaniu z tymi zbudowanymi przy użyciu skromniejszych agentów komputerowych. Gundlach twierdzi, że przewidywany trend jest szczególnie wyraźny w przypadku modnych obecnie modeli rozumowania, które w większym stopniu opierają się na dodatkowych obliczeniach podczas wyciągania wniosków.
Thompson twierdzi, że wyniki pokazują wartość odrzucenia algorytmu, a także skalę obliczeń. „Jeśli wydajesz dużo pieniędzy na szkolenie tych modeli, część z nich powinieneś wydać na opracowanie skuteczniejszych algorytmów, bo to może być ważne” – dodaje.
Badanie jest szczególnie interesujące, biorąc pod uwagę rozkwit dzisiejszej infrastruktury sztucznej inteligencji (czy raczej powinniśmy powiedzieć „bańkę”?), która wykazuje niewielkie oznaki spowolnienia.
Openi i inne amerykańskie firmy technologiczne podpisały warte sto miliardów dolarów kontrakty na budowę infrastruktury AI w Stanach Zjednoczonych. „Świat potrzebuje znacznie więcej obliczeń” – oświadczył w tym tygodniu prezes Openi Greg Brockman, ogłaszając partnerstwo pomiędzy Openi -ai Broadcom w zakresie niestandardowych chipów AI.
Coraz większa liczba ekspertów poddaje w wątpliwość zasadność tych ofert. Około 60 procent kosztów budowy centrum danych pochłaniają procesory graficzne, które szybko się amortyzują. Partnerstwa pomiędzy głównymi graczami również wydają się okrężne i nieprzejrzyste.
