LinkedIn uruchamia w tym tygodniu nową wyszukiwarkę osób opartą na sztucznej inteligencji, po tym, co wydaje się bardzo długim oczekiwaniem na coś, co powinno być naturalną ofertą w zakresie generatywnej sztucznej inteligencji.
Następuje pełne trzy lata po uruchomieniu ChatGPT i sześć miesięcy po uruchomieniu przez LinkedIn oferty poszukiwania pracy opartej na sztucznej inteligencji. Dla liderów technicznych ten harmonogram ilustruje kluczową lekcję dla firm: wdrażanie generatywnej sztucznej inteligencji w rzeczywistych warunkach biznesowych stanowi wyzwanie, szczególnie w skali 1,3 miliarda użytkowników. Jest to powolny i brutalny proces pragmatycznej optymalizacji.
Poniższy raport opiera się na kilku ekskluzywnych wywiadach z zespołem ds. produktów i inżynierii LinkedIn odpowiedzialnym za wprowadzenie na rynek.
Po pierwsze, oto jak działa produkt: użytkownik może teraz wpisać zapytanie w języku naturalnym, takie jak: „Kto wie o leczeniu raka?” w pasku wyszukiwania LinkedIn.
Stara wyszukiwarka LinkedIn oparta na słowach kluczowych zostałaby zakłopotana. Szukałoby jedynie odniesień do „raka”. Gdyby użytkownik chciał być wyrafinowany, musiałby przeprowadzić oddzielne, sztywne wyszukiwanie słów kluczowych dla „rak”, a następnie „onkologia” i ręcznie spróbować skompilować wyniki.
Jednak nowy system oparty na sztucznej inteligencji rozumie zamiar wyszukuje, ponieważ LLM rozumie ukryte znaczenie semantyczne. Przyznaje np., że „rak” koncepcyjnie wiąże się z „onkologią”, a jeszcze mniej bezpośrednio z „badaniami genomicznymi”. W rezultacie pojawia się znacznie trafniejsza lista osób, w tym liderów i badaczy onkologii, nawet jeśli w ich profilach nie pojawia się dokładne słowo „rak”.
System równoważy również to znaczenie z pożytek. Zamiast po prostu pokazywać najlepszego onkologa na świecie (który może być nieuchwytnym kontaktem trzeciego stopnia), sprawdzi także, kto w Twojej najbliższej sieci kontaktów – na przykład kontakt pierwszego stopnia – jest „całkiem istotny” i może służyć jako kluczowy pomost do tego specjalisty.
Zobacz przykładowy film poniżej.
Prawdopodobnie jednak ważniejszą lekcją dla praktykujących przedsiębiorców jest „książka kucharska” opracowana przez LinkedIn: zreplikowany, wielofazowy proces destylacji, wspólne projektowanie i nieustanna optymalizacja. LinkedIn musiał udoskonalić to w jednym produkcie, zanim wypróbował go w innym.
„Nie próbuj robić zbyt wielu rzeczy na raz” – pisze Wenjing Zhang, wiceprezes ds. inżynierii LinkedIn, w ogłoszeniu dotyczącym wprowadzenia produktu na rynek, który w zeszłym tygodniu rozmawiał także z VentureBeat. Zauważa, że wcześniejsza „powszechna ambicja” zbudowania jednego systemu dla wszystkich produktów LinkedIn „hamowała postęp”.
Zamiast tego LinkedIn skupił się najpierw na podbiciu jednej branży. Sukces wcześniej uruchomionej usługi AI Job Search — która spowodowała, że osoby poszukujące pracy nie posiadały czteroletniego dyplomu 10% większe prawdopodobieństwo, że Cię zatrudnimywedług wiceprezesa ds. inżynierii produkcji Errana Bergera — dostarczył projekt.
Teraz firma wykorzystuje ten plan do znacznie większego wyzwania. „Możliwość wykonywania tego na dziesiątkach milionów stanowisk pracy to jedno” – Berger powiedział VentureBeat. „Co innego robić na północ od miliarda członków”.
Dla twórców sztucznej inteligencji dla przedsiębiorstw podróż LinkedIn zapewnia techniczny podręcznik tego, czym jest Właściwie potrzebne, aby przejść od udanego pilotażu do produktu, z którego korzysta miliard użytkowników.
Nowe wyzwanie: wykres 1,3 miliarda członków
Produkt do wyszukiwania ofert pracy stworzył solidną receptę, na której można oprzeć nowy produkt do wyszukiwania osób, wyjaśnił Berger.
Przepis zaczął się od „złotego zestawu danych” składającego się z zaledwie kilkuset do tysięcy rzeczywistych par zapytań i profili, starannie ułożonych w szczegółowy dokument „Zasady produktu”, liczący od 20 do 30 stron. Aby skalować to na potrzeby szkoleń, LinkedIn użył tego małego złotego zestawu do zasilania dużego modelu podstawowego w celu wygenerowania masywnych danych syntetyczny dane treningowe. Te syntetyczne dane wykorzystano do szkolenia a Parametr 7 miliardów Model „Zasady produktu” — ocena trafności o wysokiej wierności, która była zbyt powolna w przypadku produkcji na żywo, ale idealna do nauczania mniejszych modeli.
Jednak już na początku zespół uderzył w mur. Przez sześć do dziewięciu miesięcy starali się wytrenować pojedynczy model, który mógłby zrównoważyć ścisłe przestrzeganie zasad (trafność) i sygnały zaangażowania użytkowników. Nastąpił moment „aha”, kiedy zdali sobie sprawę, że muszą rozwiązać problem. Wydestylowali model polityki 7B ua Model nauczyciela 1.7B skupiono się wyłącznie na znaczeniu. Następnie połączyli go z oddzielnymi modelami nauczycieli przeszkolonymi w zakresie przewidywania konkretnych działań członków, takich jak podania o pracę związane z produktem związanym z pracą lub łączenie się i śledzenie wyszukiwań osób. Ten zespół składający się z wielu nauczycieli dał wyniki miękkiego prawdopodobieństwa, które ostateczny model ucznia nauczył się naśladować poprzez utratę rozbieżności KL.
Powstała architektura działa jako potok dwuetapowy. Najpierw ten większy Model parametryczny 8B zarządza szerokim wyszukiwaniem, zarzucając szeroką sieć, aby wyciągnąć kandydatów z list przebojów. Następnie precyzyjny ranking przejmuje wysoce destylowany model studencki. Chociaż produkt dotyczący poszukiwania pracy został pomyślnie wdrożony a 0,6 miliarda (600 milionów) Student parametrów, nowy produkt do wyszukiwania osób wymagał jeszcze bardziej agresywnej kompresji. Jak zauważa Zhang, zespół zmniejszył rozmiar swojego nowego modelu studenckiego z 440 mln do zaledwie Parametry 220Mosiągnięcie wymaganej prędkości dla 1,3 miliarda użytkowników przy mniej niż 1% utracie trafności.
Jednak zastosowanie tego do wyszukiwania osób złamało starą architekturę. Nowy problem dotyczył nie tylko zaszeregowanie ale także aport.
„Miliard płyt” – powiedział Berger – „to inna bestia”.
Poprzednia pula pobierania zespołu była zbudowana na procesorach. Aby sprostać nowym wymaganiom dotyczącym skali i opóźnień w przypadku „szybkiego” wyszukiwania, zespół musiał przenieść indeksowanie na Infrastruktura oparta na GPU. Była to fundamentalna zmiana architektoniczna, której nie wymagał produkt do wyszukiwania pracy.
Pod względem organizacyjnym LinkedIn skorzystał z wielu podejść. Przez pewien czas LinkedIn miał dwa oddzielne zespoły — poszukiwanie pracy i wyszukiwanie ludzi — próbując rozwiązać problem równolegle. Jednak po tym, jak zespół poszukujący pracy dokonał przełomu, stosując metodę destylacji opartą na zasadach, Berger i jego zespół kierowniczy interweniowali. Przyniosły architektom zwycięstwa w poszukiwaniu pracy — Menedżer produktu Rohan Rajiv i menedżer ds. inżynierii Wenjing Zhang — przenieść swoją „książkę kucharską” bezpośrednio do nowej domeny.
Destylacja zapewniająca 10-krotny wzrost przepływu
Po rozwiązaniu problemu wyszukiwania zespół stanął przed wyzwaniem dotyczącym rankingu i wydajności. W tym przypadku książka kucharska została dostosowana do nowych, agresywnych technik optymalizacji.
Strona techniczna Zhanga (Wstawię link, gdy zostanie opublikowany) dostarcza konkretnych szczegółów, które zostaną docenione przez naszą publiczność, inżynierów sztucznej inteligencji. Jedną z ważniejszych optymalizacji był rozmiar danych wejściowych.
Aby nakarmić model, zespół przeszkolił więcej LLM z uczeniem się przez wzmocnienie (RL) w jednym celu: zwięzły kontekst wejściowy. Dzięki temu modelowi „skurczowemu” udało się zmniejszyć wielkość wejściową modelu o 20 razy przy minimalnej utracie informacji.
Łączny wynik modelu parametrów 220M i 20-krotnej redukcji sygnału wejściowego? I 10-krotny wzrost przepustowości rankinguumożliwiając zespołowi skuteczne udostępnianie modelu ogromnej bazie użytkowników.
Pragmatyzm zamiast reklamy: budowanie narzędzi, a nie agentów
Podczas naszych rozmów Berger był nieugięty w kwestii czegoś innego, co może przyciągnąć uwagę ludzi: prawdziwą wartością dla dzisiejszych firm jest doskonalenie systemów rekomendacji, a nie gonienie za „szumem agentów”. Odmówił także rozmowy na temat konkretnych modeli, których firma używała podczas wyszukiwań, sugerując, że nie ma to większego znaczenia. Firma wybiera modele w oparciu o to, co uważa za najbardziej efektywne w przypadku danego zadania.
Nowa wyszukiwarka oparta na sztucznej inteligencji jest przejawem filozofii Bergera, zgodnie z którą najlepiej najpierw zoptymalizować system rekomendacji. Architektura obejmuje nową „inteligentną warstwę routingu zapytań”, jak wyjaśnił Berger, która sama obsługuje LLM. Router ten pragmatycznie decyduje, czy zapytanie użytkownika — np. „ekspert zaufania” — powinno trafić do nowego stosu semantycznego języka naturalnego, czy do starego, zaufanego wyszukiwania leksykalnego.
Cały ten złożony system został zaprojektowany jako „narzędzie”, które: przyszły agent będzie korzystał, a nie sam agent.
„Produkty firmy Agents są tak dobre, jak narzędzia, których używają do wykonywania zadań za ludzi” – powiedział Berger. „Możesz mieć najlepszy model rozumowania na świecie, a jeśli spróbujesz użyć ludzkiego agenta wyszukiwania, ale ludzka wyszukiwarka nie jest zbyt dobra, nie będziesz w stanie dostarczyć wyników”.
Teraz, gdy wyszukiwarka osób jest już dostępna, Berger zasugerował, że pewnego dnia firma zaoferuje agentom, którzy będą z niej korzystać. Nie podał jednak szczegółów dotyczących terminu. Powiedział też, że recepta na znalezienie pracy i ludzi zostanie rozszerzona na inne produkty firmy.
Dla firm tworzących własne plany działania dotyczące sztucznej inteligencji podręcznik LinkedIn jest jasny:
-
Bądź pragmatyczny: Nie próbuj gotować oceanu. Wygraj jedną branżę, nawet jeśli zajmie to 18 miesięcy.
-
Skodyfikuj „książkę kucharską”: Zamień to zwycięstwo w powtarzalny proces (dokumenty polityczne, rurociągi destylacyjne, wspólne projektowanie).
-
Nieustannie optymalizuj: Nadchodzą prawdziwe wygrane 10x Po model podstawowy do cięcia, destylacji i kreatywnych optymalizacji, taki jak kompaktor przeszkolony przez RL.
Podróż LinkedIn pokazuje, że w przypadku sztucznej inteligencji w świecie rzeczywistym nacisk na określone modele lub fajne systemy agentów powinien schodzić na dalszy plan. Trwała, strategiczna przewaga wynika z mistrzostwa rurociąg — Książka kucharska oparta na sztucznej inteligencji, zawierająca wspólne projektowanie, destylację i nieustanną optymalizację.
(Nota wydawcy: wkrótce w kanale podcastów VentureBeat opublikujemy pełnometrażowy podcast z Erranem Bergerem z LinkedIn, w którym szczegółowo omówimy szczegóły techniczne.)
