Dlaczego Twój chatbot AI kłamie? Zjawisko Shipped Then Forgotten

Dziś rano miałem do zrobienia prostą operację — korektę deklaracji VAT. Odpalam inFakt. Na froncie wita mnie ich wspierany sztuczną inteligencją asystent. Nie pamiętam jak to było z tą korektą, spróbuję.

I tu zaczyna się intryga, która szybko zamienia się w frustrację.

Historia: godzina z botem, który kłamał

Przez blisko godzinę Agent AI wodził mnie za nos. Ze stuprocentową pewnością siebie instruował, w jakie zakładki mam wejść i które — nieistniejące — przyciski kliknąć, żeby edytować deklarację. Wymyślał widoki i ścieżki w interfejsie.

Jaka jest prawda? Korektę tego typu można złożyć wyłącznie przez portal ministerialny. W inFakcie po prostu się tego nie da zrobić. Po 60 minutach bot rzucił ręcznik i przełączył mnie do żywego konsultanta.

Jako inżynier procesów od razu zajrzałem pod maskę. InFakt opiera swój system obsługi na Zendesk, który mocno promuje asystentów AI bazujących na technologii RAG (Retrieval-Augmented Generation).

Czym jest RAG i dlaczego Twoja baza wiedzy to teraz kod źródłowy

RAG to architektura, w której model językowy nie odpowiada „z głowy" — najpierw przeszukuje Twoją firmową bazę wiedzy (artykuły pomocy, dokumentację, FAQ), a dopiero potem generuje odpowiedź na jej podstawie.

To świetne rozwiązanie — pod jednym warunkiem: że ta baza jest aktualna.

W erze RAG Twoja firmowa dokumentacja przestała być zwykłym tekstem dla pracowników czy klientów. Stała się kodem źródłowym dla Twojej sztucznej inteligencji. Jeśli w artykule pomocy o VAT nie ma twardego ograniczenia: „UWAGA: Tego procesu nie zrobisz w aplikacji, wejdź na portal ministerialny" — model językowy, chcąc być „pomocnym", po prostu sobie ten interfejs wymyśli, bazując na podobnych artykułach.

Shipped Then Forgotten — syndrom, który niszczy zaufanie klientów

Firmy traktują wdrożenie AI jak kupno mikrofalówki. Podłączasz do prądu, wrzucasz zapytanie, wyjmujesz gotową odpowiedź. Wypuszczają agenta na produkcję i otwierają szampana.

Wprowadzają nowe funkcje lub zmiany w produkcie — i nigdzie tego nie komunikują bazie wiedzy.

To właśnie Shipped Then Forgotten: wypuszczone i zapomniane. Agent działa dalej, z pełną pewnością siebie, na przestarzałych danych. A klient płaci cenę — swoim czasem i zaufaniem.

Jak zapobiec: 5 zasad utrzymania bazy wiedzy AI

Deterministyczny „kaganiec" na AI to nie tylko technologia. To przede wszystkim rygorystyczny proces utrzymania bazy wiedzy. Oto minimum:

1. Każda zmiana produktu = aktualizacja dokumentacji AI

Powiąż release notes z procesem aktualizacji artykułów pomocy. Zanim nowa funkcja trafi na produkcję, dokumentacja musi ją opisywać — łącznie z tym, czego system nie robi.

2. Wyraźne ograniczenia zamiast milczenia

Tam, gdzie czegoś nie można zrobić w systemie — napisz to wprost. „UWAGA: tej operacji nie wykonasz w aplikacji, skorzystaj z [link]." Model językowy nie domyśli się ograniczenia, jeśli go nie zakomunikujesz.

3. Miesięczne przeglądy bazy wiedzy

Wyznacz właściciela (konkretna osoba, nie „zespół"). Raz w miesiącu przegląda najczęściej zadawane pytania agenta i weryfikuje, czy odpowiedzi są nadal aktualne.

4. Testy regresji dla agenta po każdej zmianie

Lista 10–20 scenariuszy testowych odpowiadających kluczowym przepływom użytkownika. Po każdej aktualizacji systemu — przetestuj agenta na tej liście. Jeśli „oblewa" — wstrzymaj deployment do czasu aktualizacji bazy.

5. „Nie wiem" to lepsza odpowiedź niż halucynacja

Skonfiguruj agenta tak, by w przypadku braku pewności przekierował do człowieka zamiast zgadywać. Użytkownik, który dostał „przepraszam, nie wiem, połączę Cię z konsultantem" jest mniej sfrustrowany niż ten, który stracił godzinę na instrukcje prowadzące donikąd.

Technologia wybacza wiele. Brak procesów — niczego.

Jeśli zmieniasz coś w firmie, a nie aktualizujesz „amunicji" (bazy danych), Twój Agent AI zacznie strzelać ślepakami prosto w twarz Twojego klienta.

To nie jest problem technologii. InFakt ma dobry produkt i prawdopodobnie świetny model. Problem leży w procesie utrzymania — i to jest błąd, który każda firma może naprawić bez zmiany systemu.

Jeśli budujesz lub planujesz wdrożyć agenta AI w obsłudze klienta i chcesz, żeby działał przewidywalnie — porozmawiajmy. Zaczynam od audytu procesowego, nie od konfiguracji modelu.