Inżynierowie danych powinni pracować szybciej niż kiedykolwiek. Narzędzia oparte na sztucznej inteligencji obiecują zautomatyzować optymalizację rurociągów, przyspieszyć integrację danych i stawić czoła powtarzalnej harówce, która od dziesięcioleci definiuje ten zawód.
Jednak według nowej ankiety przeprowadzonej przez MIT Technology Review Insights we współpracy z Snowflake wśród 400 starszych menedżerów ds. technologii 77% twierdzi, że obciążenia pracą ich zespołów zajmujących się inżynierią danych stają się coraz trudniejsze, a nie łatwiejsze.
Winowajca? Te same narzędzia AI, które mają pomóc stworzyć nowy zestaw problemów.
Chociaż 83% organizacji wdrożyło już narzędzia inżynierii danych oparte na sztucznej inteligencji, 45% jako największe wyzwanie podaje złożoność integracji. Kolejne 38% zmaga się z rozrastaniem się i fragmentacją narzędzi.
„Wielu inżynierów danych używa jednego narzędzia do gromadzenia danych, drugiego do przetwarzania danych, a innego do przeprowadzania analiz na ich podstawie” – powiedział VentureBeat Chris Child, wiceprezes ds. produktów inżynierii danych w Snowflake. „Korzystanie z kilku narzędzi w całym cyklu życia danych powoduje złożoność, ryzyko i zwiększone zarządzanie infrastrukturą, na co nie mogą sobie pozwolić inżynierowie danych”.
Rezultatem jest paradoks produktywności. Narzędzia AI przyspieszają poszczególne zadania, ale mnogość niepowiązanych narzędzi sprawia, że zarządzanie całym systemem staje się trudniejsze. Dla przedsiębiorstw chcących wdrażać sztuczną inteligencję na dużą skalę ta fragmentacja stanowi krytyczne wąskie gardło.
Od zapytania SQL do potoku LLM: codzienna zmiana przepływu pracy
Badanie wykazało, że dwa lata temu inżynierowie danych spędzili średnio 19% swojego czasu na projektach związanych ze sztuczną inteligencją. Dziś odsetek ten wzrósł do 37%. Respondenci oczekują, że w ciągu dwóch lat osiągnie on poziom 61%.
Jak jednak ta zmiana wygląda w praktyce?
Dziecko podało konkretny przykład. Wcześniej, jeśli dyrektor finansowy firmy musiał tworzyć prognozy, korzystał z pomocy zespołu inżynierów danych, aby pomóc mu w zbudowaniu systemu, który łączył nieustrukturyzowane dane, takie jak umowy z dostawcami, z danymi ustrukturyzowanymi, takimi jak liczby przychodów, w statyczny pulpit nawigacyjny. Połączenie tych dwóch światów różnych typów danych było niezwykle czasochłonne i kosztowne, wymagało od prawników ręcznego czytania każdego dokumentu pod kątem kluczowych warunków umowy i przesyłania tych informacji do bazy danych.
Dziś ten sam przepływ pracy wygląda radykalnie inaczej.
„Inżynierowie danych mogą używać narzędzia takiego jak Snowflake Openflow, aby bezproblemowo przenosić nieustrukturyzowane umowy w formacie PDF zapisane w źródle takim jak Box wraz ze strukturalizowanymi danymi finansowymi na jedną platformę taką jak Snowflake, dzięki czemu dane będą dostępne dla LLM” – powiedział Child. „To, co kiedyś wymagało wielu godzin pracy fizycznej, teraz jest niemal natychmiastowe”.
Zmiana dotyczy nie tylko szybkości. Chodzi o charakter samej pracy.
Dwa lata temu typowy dzień inżyniera danych składał się z dostrajania klastrów, pisania transformacji SQL i upewniania się, że dane są gotowe dla analityków. Obecnie ten sam inżynier z większym prawdopodobieństwem będzie debugował potoki transformacji obsługiwane przez LLM i konfigurował zasady zarządzania przepływami pracy w modelu AI.
„Podstawową umiejętnością inżyniera danych nie jest tylko kodowanie” – powiedział Child. „To organizacja podstaw danych oraz zapewnienie zaufania, kontekstu i zarządzania, dzięki czemu wyniki sztucznej inteligencji są godne zaufania”.
Problem z zestawem narzędzi: Kiedy pomoc staje się przeszkodą
W tym miejscu biznes utknął.
Możliwości narzędzi danych opartych na sztucznej inteligencji są przekonujące: zautomatyzować optymalizację potoków, przyspieszyć debugowanie, uprościć integrację. Jednak w praktyce wiele organizacji stwierdza, że każde nowe narzędzie AI, które doda, powoduje problemy związane z integracją.
Dane badawcze to potwierdzają. Chociaż sztuczna inteligencja doprowadziła do poprawy ilości wyników (wzrost o 74%) i jakości (ulepszenia w raportach o 77%), korzyści te są równoważone kosztami operacyjnymi zarządzania odłączonymi narzędziami.
„Innym problemem, który widzimy, jest to, że narzędzia AI często ułatwiają tworzenie prototypów, łącząc kilka źródeł danych z LLM od razu po wyjęciu z pudełka” – powiedział Child. „Ale kiedy chcesz wdrożyć to narzędzie w środowisku produkcyjnym, zdajesz sobie sprawę, że nie masz dostępnych danych i nie wiesz, jakiego rodzaju zarządzania potrzebujesz, więc udostępnienie narzędzia użytkownikom staje się trudne”.
Dla decydentów technicznych, którzy obecnie oceniają swój stos inżynierii danych, Child zaoferował jasne ramy.
„Zespoły powinny priorytetowo traktować narzędzia sztucznej inteligencji, które zwiększają produktywność, a jednocześnie eliminują złożoność infrastruktury i operacji” – powiedział. „Dzięki temu inżynierowie mogą przenieść swoją uwagę z zarządzania „wspólną pracą” w zakresie inżynierii danych na rzecz wyników biznesowych”.
Okno wdrożenia agenta AI: 12 miesięcy na prawidłowe wykonanie
Z badania wynika, że 54% organizacji planuje wdrożenie sztucznej inteligencji agentowej w ciągu najbliższych 12 miesięcy. Sztuczna inteligencja agentów odnosi się do autonomicznych agentów, którzy mogą podejmować decyzje i działania bez interwencji człowieka. Kolejne 20% już zaczęło to robić.
Dla zespołów zajmujących się inżynierią danych agentyczna sztuczna inteligencja stanowi zarówno ogromną szansę, jak i znaczne ryzyko. Dobrze wykonane autonomiczne agenty mogą wykonywać powtarzalne zadania, takie jak wykrywanie dryftu schematu lub debugowanie błędów transformacji. Źle wykonane mogą uszkodzić zbiory danych lub ujawnić poufne informacje.
„Inżynierowie danych muszą nadać priorytet optymalizacji potoków i monitorowaniu, aby naprawdę wdrożyć sztuczną inteligencję opartą na agentach na dużą skalę” – powiedział Child. „To punkt wyjścia charakteryzujący się niskim ryzykiem i wysokim zwrotem, który umożliwia agentowej sztucznej inteligencji bezpieczną automatyzację powtarzalnych zadań, takich jak wykrywanie dryfowania schematu lub debugowanie błędów transformacji, jeśli zostaną wykonane prawidłowo”.
Ale Child był nieugięty co do poręczy, które należy postawić w pierwszej kolejności.
„Zanim organizacje pozwolą agentom zbliżyć się do danych produkcyjnych, muszą zostać wprowadzone dwa zabezpieczenia: silne zarządzanie i śledzenie pochodzenia oraz aktywny nadzór człowieka” – powiedział. „Agenci muszą dziedziczyć dokładne uprawnienia i działać w ramach ustalonych ram zarządzania”.
Ryzyko pominięcia tych kroków jest realne. „Bez odpowiedniego pochodzenia lub zarządzania dostępem agent może nieumyślnie uszkodzić zestawy danych lub ujawnić poufne informacje” – ostrzegł Child.
Luka w percepcji, która kosztuje firmy sukces AI
Być może najbardziej uderzającym wnioskiem z ankiety jest rozdźwięk na poziomie kadry kierowniczej.
Chociaż 80% CIO i 82% CIO uważa, że inżynierowie danych są integralną częścią sukcesu biznesowego, tylko 55% CIO podziela to zdanie.
„To pokazuje, że liderzy danych dostrzegają strategiczną wartość inżynierii danych, ale musimy zrobić więcej, aby pomóc reszcie kadry kierowniczej rozpoznać, że inwestowanie w ujednoliconą, skalowalną podstawę danych i ludzi, którzy jej pomagają, jest inwestycją w sukces sztucznej inteligencji, a nie tylko operacji IT” – powiedział Child.
Ta luka w postrzeganiu ma realne konsekwencje.
Inżynierowie danych w ankietowanych organizacjach mają już wpływ na decyzje dotyczące wykonalności przypadków użycia AI (53% respondentów) i wykorzystanie modeli AI przez jednostki biznesowe (56%). Jeśli jednak CIO nie uznają inżynierów danych za partnerów strategicznych, jest mało prawdopodobne, że zapewnią tym zespołom zasoby, władzę lub miejsce przy stole, których potrzebują, aby zapobiec zidentyfikowanym przez badanie rodzajom problemów związanych z rozprzestrzenianiem się narzędzi i integracją.
Wydaje się, że luka ma związek z widocznością. Dyrektorzy ds. danych i dyrektorzy ds. sztucznej inteligencji na co dzień współpracują bezpośrednio z zespołami zajmującymi się inżynierią danych i rozumieją złożoność tego, czym zarządzają. CIO, szerzej skupieni na infrastrukturze i operacjach, mogą nie dostrzegać pracy w zakresie architektury strategicznej, którą coraz częściej wykonują inżynierowie danych.
Ten rozdźwięk widać również po tym, jak różni menedżerowie oceniają wyzwania stojące przed zespołami zajmującymi się inżynierią danych. Dyrektorzy ds. sztucznej inteligencji znacznie częściej niż CIO zgadzają się, że obciążenie pracą inżynierów danych staje się coraz większe (93% w porównaniu z 75%). Częściej dostrzegają także wpływ inżynierów danych na ogólną strategię sztucznej inteligencji.
Czego inżynierowie danych muszą się teraz nauczyć
W badaniu zidentyfikowano trzy kluczowe umiejętności, które inżynierowie danych muszą rozwinąć: wiedzę specjalistyczną w zakresie sztucznej inteligencji, zmysł biznesowy i umiejętności komunikacyjne.
Dla firmy posiadającej 20-osobowy zespół inżynierii danych stanowi to praktyczne wyzwanie. Czy zatrudniasz te umiejętności, szkolisz istniejących inżynierów lub restrukturyzujesz swój zespół? Odpowiedź dziecka sugerowała, że priorytetem powinno być zrozumienie biznesu.
„Obecnie najważniejszą umiejętnością inżynierów danych jest zrozumienie, co jest najważniejsze dla końcowych użytkowników biznesowych i ustalenie priorytetów, w jaki sposób mogą łatwiej i szybciej odpowiedzieć na te pytania” – powiedział.
Lekcja dla firm: Kontekst biznesowy jest ważniejszy niż dodawanie certyfikatów technicznych. Child podkreślił, że zrozumienie wpływu biznesowego tego, „dlaczego” inżynierowie danych wykonują określone zadania, umożliwi im lepsze przewidywanie potrzeb klientów i natychmiastowe dostarczanie wartości firmom.
„Organizacje posiadające zespoły inżynierii danych, dla których zrozumienie biznesu jest priorytetem, wyróżnią się na tle konkurencji”.
Dla przedsiębiorstw, które chcą być liderami w dziedzinie sztucznej inteligencji, rozwiązaniem kryzysu produktywności inżynierii danych nie jest już więcej narzędzi sztucznej inteligencji. Organizacje, które najszybciej się rozwijają, konsolidują obecnie swoje zestawy narzędzi, wdrażają infrastrukturę zarządzania, zanim agenci przejdą do produkcji, i awansują inżynierów danych z personelu pomocniczego do architektów strategicznych.
Okno jest wąskie. Ponieważ 54% planuje wdrożenie agentowej sztucznej inteligencji w ciągu 12 miesięcy, a inżynierowie danych mają spędzić 61% swojego czasu na projektach związanych ze sztuczną inteligencją w ciągu dwóch lat, zespoły, które nie zajęły się problemem rozprzestrzeniania się narzędzi i luk w zarządzaniu, uznają, że ich inicjatywy związane ze sztuczną inteligencją utknęły w trybie ciągłego pilotażu.
