Płacisz już za narzędzie AI, a jeden proces, np. odnawianie umów z dostawcami albo obsługę zgłoszeń, Twój zespół wciąż prowadzi ręcznie. Czy ten proces wymaga rozwiązania AI dopasowanego do niego, czy wystarczy lepiej skonfigurować narzędzie, które już masz? Poniżej znajdziesz arkusz testu z dziewięcioma punktami, cztery możliwe wyniki i przykład krok po kroku.
Nie rozstrzygaj tego porównaniem funkcji. Sprawdź narzędzie na rzeczywistych danych z jednego procesu. Jeśli narzędzie zaliczy test, używaj go. Jeśli zaliczy go prawie w całości, skonfiguruj je albo dobuduj brakujący element. Własne rozwiązanie zamawiaj dopiero wtedy, gdy test pokaże lukę, której konfiguracja nie zamknie. A jeśli nikt nie odpowiada za wynik ani za dane, zacznij od tego.
Opisz jedną decyzję, a nie „AI dla firmy”
Test wymaga zakresu, który da się sprawdzić. Zapisz jedną decyzję operacyjną w sześciu punktach:
- Zdarzenie: co uruchamia pracę (termin odnowienia umowy, nowe zgłoszenie, przesłany dokument).
- Dane wejściowe: jakie rekordy i dokumenty człowiek czyta dziś.
- Źródło rozstrzygające: który system ma rację, gdy dwa źródła się różnią.
- Oczekiwany wynik: co ma przygotować AI (projekt odpowiedzi, rekomendację, przypisanie sprawy).
- Osoba zatwierdzająca: kto z imienia i nazwiska akceptuje albo odrzuca wynik.
- Miejsce zapisu: gdzie trafia zatwierdzony wynik i kto go zapisuje.
Jeśli nie umiesz wskazać osoby zatwierdzającej albo źródła rozstrzygającego, żadne narzędzie — gotowe czy budowane od zera — nie sprawi, że proces będzie wiarygodny. To decyzja organizacyjna, nie zadanie dla programistów.
Kiedy gotowe narzędzie nie wystarczy i jak to sprawdzić
Zanim uznasz, że gotowe narzędzie nie zna Twojej branży, nie połączy się z Twoimi systemami, nie da się go dobrze zabezpieczyć albo nie zostawi śladu audytowego, sprawdź każdą z tych obaw w teście.
Microsoft Copilot Studio opisuje na przykład gotowe i własne konektory, także do systemów spoza ekosystemu Microsoft, oraz zasady ochrony danych, którymi administrator ogranicza, z jakich konektorów agent może korzystać jednocześnie. Wrażliwe dane same w sobie nie przesądzają więc o budowie własnego rozwiązania. Liczy się to, czy skonfigurowane narzędzie spełnia wymagania procesu na Twoich własnych danych.
Arkusz testu dopasowania
Przeprowadź krótki test narzędzia, które już masz (albo najmocniejszego kandydata), na opisanej decyzji. Przy każdym punkcie zapisz, co pokazał test, jaka jest luka i kto odpowiada za jej zamknięcie.
- Dostęp do źródeł i aktualność: czy narzędzie czyta źródło rozstrzygające bezpośrednio i jak szybko widzi zmiany?
- Uprawnienia użytkowników: czy każdy widzi tylko to, co mógłby otworzyć w systemie źródłowym?
- Konektor lub akcja: czy potrzebny odczyt lub zapis jest obsługiwany, czy wymaga własnego konektora?
- Zatwierdzenie przed zapisem: czy wskazana osoba zatwierdza wynik, zanim cokolwiek zmieni się w systemie docelowym?
- Audytowalność: czy da się odtworzyć, jakie źródła, wersja i osoba zatwierdzająca stoją za wynikiem?
- Ścieżka awaryjna: co się dzieje przy przekroczeniu czasu, braku źródła lub sprzecznych danych — eskalacja czy zgadywanie?
- Jakość wyników: jak narzędzie radzi sobie z Twoimi przypadkami testowymi, także trudnymi i takimi, przy których powinno odmówić odpowiedzi?
- Eksport i zmiana dostawcy: czy wyeksportujesz konfigurację oraz logi i przeniesiesz proces bez jego przebudowy?
- Utrzymanie: kto naprawia usterki — dostawca, Twoi administratorzy czy partner technologiczny?
Nie sumuj punktów. Jeden niezaliczony punkt, który blokuje proces — na przykład uprawnienia albo zatwierdzanie — waży więcej niż kilka zaliczonych bez trudu.
Przypadki testowe przygotuj przed testem. Zalecenia OpenAI dotyczące ewaluacji mówią o ocenie konkretnego zadania na przykładach z rzeczywistego użycia, jasno określonym celu i ocenie człowieka tam, gdzie automatyczna nie wystarcza. Jedno udane demo nie dowodzi, że narzędzie się sprawdzi; odpowiedzi modelu się różnią, więc ważne przypadki powtarzaj.
Cztery możliwe wyniki testu
Arkusz prowadzi do jednej z czterech decyzji:
- Używaj narzędzia bez zmian. Wszystkie kluczowe punkty są zaliczone. Budżet przeznacz na wdrożenie zespołu, jakość źródeł i sposób weryfikacji wyników.
- Skonfiguruj je. Luki dotyczą ustawień, instrukcji, konektorów lub zasad ochrony danych. Zamknie je administrator albo krótkie wsparcie z zewnątrz.
- Dobuduj brakującą integrację. Narzędzie dobrze pracuje na tekście, ale uprawnienia, krok zatwierdzania albo zapis do systemu źródłowego wymagają pracy programistów. Buduj tylko tę warstwę, a reguły biznesowe trzymaj w kodzie.
- Zbuduj rozwiązanie dopasowane do procesu, w wąskim zakresie. Kilka kluczowych punktów nie przechodzi z przyczyn strukturalnych: logika jest specyficzna dla Twojej branży, źródła są niedostępne albo zatwierdzanie i ślad audytowy muszą działać wewnątrz Twojego produktu.
Za co płacisz, gdy budujesz
Rozwiązanie AI dopasowane do procesu rzadko oznacza trenowanie własnego modelu. Płacisz za warstwę, której zabrakło w teście: wyszukiwanie z kontrolą uprawnień, reguły wykrywające sprzeczności, krok zatwierdzania i rejestr decyzji, zbudowane wokół istniejącego modelu. Najpierw ustal źródła danych, reguły, osobę zatwierdzającą i sposób przekazania wyniku. Model wybieraj na końcu.
Masz już działającą aplikację? Zobacz, jak ustalić zakres pierwszej integracji AI: od uprawnień do źródeł po sprawdzanie wyników i kryteria odbioru.
Przykład: propozycja odnowienia umowy z dostawcą
Weźmy hipotetyczny dział zakupów. Przykład pokazuje metodę; nie opisuje wyników klienta.
Na 90 dni przed końcem umowy z dostawcą kupiec przygotowuje propozycję: odnowić, renegocjować czy ogłosić nowe zapytanie ofertowe. Dziś czyta warunki umowy, porównuje wydatki z ustalonym wolumenem, wyciąga z systemu obsługi dostaw opóźnienia i reklamacje, a potem pisze rekomendację dla kierownika kategorii.
- Decyzja: odnowienie, renegocjacja albo nowe zapytanie, z dowodami w załączeniu.
- Źródła: repozytorium umów (rozstrzyga o warunkach), system finansowy (wydatki), system obsługi dostaw (terminowość i reklamacje).
- Oczekiwany wynik: projekt rekomendacji z odwołaniem do każdego źródła i wskazaniem sprzeczności, np. wydatków powyżej umówionego wolumenu albo opóźnień objętych karami umownymi.
- Osoba zatwierdzająca: kierownik kategorii akceptuje, poprawia albo odrzuca.
- Miejsce zapisu: dopiero po akceptacji decyzja trafia do karty umowy.
Teraz wypełnij arkusz. Załóżmy, że narzędzie, z którego firma już korzysta, dobrze czyta umowy i zestawienia finansowe, ale nie respektuje uprawnień do kategorii w systemie obsługi dostaw i nie ma kroku zatwierdzania przed zapisem do karty umowy. To wynik 3: narzędzie zostaje do przygotowania projektu, a dobudowujesz wyszukiwanie z kontrolą uprawnień i zapis po zatwierdzeniu. Jeśli natomiast reguły wykrywania sprzeczności są specyficzne dla Twoich umów i narzędzie nie stosuje ich wiarygodnie w testach, dowody wskazują na wynik 4: wąskie rozwiązanie z tymi regułami w kodzie.
O tym, czy wystarczy jeden agent, kilka agentów czy pojedyncze zapytanie do modelu, zdecyduj po teście, gdy wiesz, której warstwy brakuje.
Porównaj koszty na tym samym zakresie pracy
Wybierz jeden proces i sprawdź, ile czasu zajmuje dziś jego obsługa i jak często wynik wymaga poprawek. Potem porównaj warianty przy tym samym wolumenie i tych samych wymaganiach jakości:
- obecny czas na jedną sprawę, łącznie ze sprawdzaniem i poprawkami,
- koszt licencji lub API przy spodziewanym wolumenie,
- jednorazowy koszt konfiguracji, integracji lub budowy,
- monitoring, utrzymanie testów i rozwój,
- koszt zmiany dostawcy: eksport danych i przeniesienie procesu.
Szkic, który powstaje szybciej, ale dłużej się go sprawdza, niczego nie oszczędza.
Gdy proces dotyczy dokumentów prawnych lub danych kandydatów
W LegalTech i HRTech ustal przed testem dwie rzeczy: jakie dane osobowe w ogóle mogą trafić do modelu i kto może zobaczyć każdy wynik. Punkt 5 musi wtedy działać dla każdego wyniku, nie tylko dla próbki. Dołożenie któregokolwiek z tych elementów po wdrożeniu oznacza przebudowę wyszukiwania i kroku zatwierdzania. W przykładzie z umowami byłyby to filtr uprawnień do kategorii i zapis każdej decyzji kierownika.
Z czym przyjść na rozmowę o wdrożeniu
Przynieś jeden proces opisany w sześciu punktach, zanonimizowaną lub zatwierdzoną do wglądu próbkę rzeczywistych spraw, nazwę narzędzia, którego już używasz, i punkty arkusza, których nie zaliczyło. To wystarczy, by ustalić, czy potrzebujesz krótkiej konfiguracji, integracji AI z działającym produktem, automatyzacji procesów biznesowych z AI przy wyniku 4, czy analizy przedwdrożeniowej AI, jeśli nie wiadomo jeszcze, czy rozwiązanie jest wykonalne i czy się opłaci.
Wyślij ten opis przyciskiem „Wyślij opis procesu”. Na 30-minutowej rozmowie omówimy, na który z czterech wyników wskazują Twoje dane i jaki byłby następny krok. Zamawiaj tylko to, czego gotowe narzędzie nie obsłużyło w teście.