Czy warto oddać to zadanie AI? Test odpowiedzialności, weryfikacji i utraty wprawy

👁 119 przeczytań

Przed delegowaniem zadania sprawdzam koszt kontroli wyniku, skutki błędu i umiejętność, którą chcę zachować. Pokazuję kryteria decyzji oraz sytuacje, w których samodzielne wykonanie zadania daje więcej niż wygoda czatu.

Powiązany materiał: Jakie są ograniczenia ChatGPT?

Asymetria, której nie ma w poradnikach

Poradniki o AI mierzą jedną rzecz: jak szybko powstaje wynik. Milczą o drugiej połowie rachunku, czyli o tym, ile kosztuje ustalenie, że wynik jest dobry. Generowanie jest tanie i będzie coraz tańsze. Weryfikacja kosztuje tyle, ile kosztowała zawsze, bo robi ją człowiek, który musi zrozumieć temat.

Z tej asymetrii wynika prosty podział zadań na trzy kategorie. Nie chodzi o to, czy model sobie poradzi. Chodzi o to, ile mnie kosztuje sprawdzenie, czy sobie poradził.

Trzecia kategoria jest niebezpieczna właśnie dlatego, że wygląda najlepiej. Odpowiedź w dziedzinie, której nie znam, zawsze robi na mnie większe wrażenie niż odpowiedź w dziedzinie, którą znam. Nie dlatego, że jest lepsza. Dlatego, że nie widzę w niej dziur.

Test trzech pytań, zanim cokolwiek odpalę

Zajmuje mi kilkanaście sekund i oszczędził mi więcej czasu niż jakakolwiek technika promptowania.

1. Czy sprawdzenie wyniku zajmie mi mniej czasu niż samodzielne wykonanie? Jeśli żeby sprawdzić odpowiedź, muszę przeczytać to samo źródło i policzyć to samo, to model nie zrobił nic poza zajęciem mi miejsca w głowie.
2. Czy w ogóle zauważę błąd, jeśli się pojawi? To jest pytanie o moje kompetencje, nie o kompetencje modelu. Jeśli odpowiedź brzmi „nie”, wynik nie nadaje się do niczego, za co biorę odpowiedzialność.
3. Co się stanie, jeśli błąd przejdzie dalej? Literówka w notatce dla siebie i literówka w umowie to dwie różne rzeczy, choć kosztują tyle samo tokenów.

Trzy razy „tak” oznaczają zielone światło. Jedno „nie” przy pytaniu drugim albo trzecim oznacza, że mogę użyć modelu do szkicu i do nauki, ale nie do wyniku, który wychodzi ode mnie na zewnątrz.

Zadania, w których sprawdzenie trwa dłużej niż zrobienie samemu

Lista jest u mnie krótka i stabilna od miesięcy.

• Wyciąganie liczb z dokumentu. Żeby zaufać tabelce, muszę i tak przejść przez dokument. Wtedy równie dobrze mogę przepisać liczby sam, z tą różnicą, że zapamiętam, co w nich jest.
• Cytaty, przypisy, nazwiska, daty. Każdy element trzeba potwierdzić osobno. Weryfikacja rośnie liniowo z długością odpowiedzi, a odpowiedź powstaje w sekundę. To najgorszy możliwy układ.
• Tekst po języku, którego nie znam na tyle, by ocenić ton. Gramatycznie będzie dobrze. Czy brzmi jak człowiek, czy jak broszura, nie ocenię. A to właśnie decyduje o tym, jak mnie odbierze czytelnik.
• Zmiana w działającym systemie bez testów. Jeśli nie mam jak sprawdzić skutku, to nie mam jak sprawdzić skutku. Model tego nie zmienia, tylko przyspiesza moment, w którym wprowadzam zmianę, której nie rozumiem.
• Rzeczy krótkie. Trzy zdania maila napiszę szybciej, niż opiszę, o co w nich chodzi.
• Rzeczy zależne od kontekstu, który mam tylko w głowie. Tu działa najprostsza reguła świata: jeśli brief będzie dłuższy niż robota, robię robotę.

Decyzje, których nie oddaję modelowi

Model potrafi wygenerować przekonujące uzasadnienie dla każdej opcji, także dla tej złej. To nie jest usterka, to jest jego natura. Problem polega na tym, że uzasadnienie brzmi tak samo pewnie niezależnie od tego, czy opcja jest sensowna. Pewność w tekście nie jest sygnałem trafności.

Dlatego mam listę decyzji, przy których model jest narzędziem do rozpisania, a nie do wybrania.

• Nieodwracalne i kosztowne. Rezygnacja z czegoś, czego nie odzyskam. Wysłanie czegoś, czego nie cofnę.
• Dotyczące konkretnych ludzi. Kto dostaje pracę, kto dostaje pieniądze, jak oceniam czyjąś robotę. Człowiek zasługuje na to, żeby ocenił go człowiek, który poniesie ciężar tej oceny.
• Takie, za które odpowiadam prawnie albo finansowo. Odpowiedzialność jest niepodzielna. Zostaje przy mnie także wtedy, gdy decyzję podpowiedział model. To nie jest porada prawna ani finansowa, przy takich sprawach idę do specjalisty.
• Wynikające z moich wartości i upodobań. Czy chcę tej pracy, tego klienta, tego stylu. Model zna średnią z tekstów świata, nie zna mnie.

Przy tych decyzjach używam promptu, który celowo odbiera modelowi prawo do rekomendacji.

Jestem przed decyzją: [opis sytuacji, ograniczenia, czego się boję].
NIE rekomenduj żadnej opcji. Zadanie:
1. Wypisz wszystkie realne opcje, także te niewygodne.
2. Dla każdej podaj: co muszę być gotów zaakceptować, czego nie da się cofnąć,
   po czym po miesiącu poznam, że to był błąd.
3. Wypisz 5 pytań, na które muszę odpowiedzieć sam, bo bez nich decyzja
   jest zgadywaniem.
4. Wskaż informacje, których w mojej sytuacji brakuje najbardziej.
Odpowiedź ma się kończyć pytaniami, nie wnioskiem.

Kiedy AI psuje relację z drugim człowiekiem

W części wiadomości treścią komunikatu nie są słowa, tylko wysiłek. Kondolencje, przeprosiny, podziękowanie, trudna rozmowa z kimś bliskim, informacja zwrotna dla współpracownika. Odbiorca nie czyta tam zdań. Czyta odpowiedź na pytanie „ile czasu poświęcił mi ten człowiek”.

Model umie napisać gładsze kondolencje, niż napiszę je ja. I właśnie gładkość jest problemem, bo w takim komunikacie nadmierna zgrabność zaczyna brzmieć podejrzanie. Ludzie wyczuwają to coraz lepiej, a koszt wykrycia jest wyjątkowo nieprzyjemny: jednorazowa wygoda zamienia się w trwałą rysę na zaufaniu. Nie da się jej wyjaśnić, bo nie chodzi o błąd w treści.

Drugi przypadek to konflikt i negocjacje. Model domyślnie wygładza, łagodzi i szuka kompromisu. Kiedy przepuszczę przez niego swoją odpowiedź, tracę orientację, co właściwie myślę i na co nie chcę się zgodzić. Zostaję z tekstem uprzejmym i bezkształtnym, a druga strona dostaje sygnał, że nie mam twardego zdania.

Nie znaczy to, że przy takich wiadomościach zamykam narzędzie. Zmieniam mu rolę: z autora na czytelnika.

Poniżej wiadomość, którą napisałem sam. NIE przepisuj jej i nie proponuj
swojej wersji.
1. Powiedz, jak zabrzmi dla odbiorcy w jego sytuacji: [kontekst odbiorcy].
2. Wskaż zdania, które mogą zostać odebrane inaczej, niż chcę, i napisz dlaczego.
3. Powiedz, czego w tej wiadomości brakuje z punktu widzenia odbiorcy.
4. Wskaż miejsca, gdzie się asekuruję zamiast powiedzieć wprost.
Treść: [tekst]

Różnica jest zasadnicza. Słowa zostają moje, a dostaję to, czego naprawdę potrzebowałem: drugą parę oczu.

Cicha cena: utrata wprawy

To jest koszt, który nie pojawia się w żadnym rachunku, bo rozkłada się na miesiące. Umiejętności podtrzymuje wykonywanie, nie nadzorowanie. Kto przez pół roku tylko sprawdza cudze wyniki, zostaje sprawnym recenzentem i coraz słabszym wykonawcą.

Objawy są łatwe do rozpoznania, jeśli się ich szuka:

• Pusta strona mnie blokuje, dopóki nie zobaczę czyjegoś pierwszego zdania.
• Rzecz, którą kiedyś robiłem z pamięci, wymaga teraz zajrzenia do modelu.
• Awaria narzędzia albo brak sieci wywołują nieproporcjonalną panikę.
• Coraz trudniej ocenić, czy wynik jest dobry, bo dawno nie robiłem tego sam.
• Znikła cierpliwość do trudnego akapitu i do zadania, które po prostu musi zająć godzinę.

Ostatni punkt jest najgroźniejszy, bo to on zamyka pętlę: im mniej wprawy, tym mniej zauważam błędów, tym bardziej ufam modelowi, tym mniej ćwiczę.

Moja odpowiedź nie polega na purytanizmie. Polega na wyborze. Dzielę umiejętności na rdzeń i peryferie. Rdzeń to rzeczy, na których stoi moja praca i moja ocena jakości. Tych nie oddaję nawet wtedy, gdy oddanie byłoby szybsze, a jedno zadanie dziennie robię w nich od zera, bez podpowiedzi. Peryferie to wszystko, w czym nigdy nie chciałem być dobry. Tam oddaję bez żalu.

Praktyczny nawyk, który to utrzymuje: najpierw moja wersja, potem model. Nawet zła własna wersja zmienia wszystko, bo wtedy czytam wynik jako ktoś, kto ma zdanie, a nie jako ktoś, kto szuka czegokolwiek do skopiowania.

Rachunek, czyli czy przepłacam czasem za wygodę

Kiedy mam wrażenie, że coś idzie wolniej, niż powinno, liczę uczciwie obie strony. Pełny koszt użycia modelu to nie jest czas pisania promptu.

Po drugiej stronie stoi jedna liczba: ile zajęłoby mi to samemu, bez oglądania się na nic. Bardzo często okazuje się mniejsza, niż zakładałem przed startem.

Trzy sygnały, że właśnie przepłacam:

• Trzeci prompt do tej samej rzeczy. Stosuję regułę dwóch podejść. Jeśli po dwóch próbach wynik nadal nie jest bliski, problem leży w zadaniu, nie w sformułowaniu. Robię sam.
• Wynik „prawie dobry”. To najdroższy stan ze wszystkich, bo kusi do poprawiania i pochłania więcej czasu niż napisanie od zera. Gorszy niż wynik jawnie zły, który po prostu wyrzucam.
• Wygoda zamiast oszczędności. Czasem naprawdę chodzi mi o to, żeby nie zaczynać od pustej strony. To uczciwy powód, ale wtedy nie oszukuję się, że oszczędzam czas. Płacę czasem za komfort i chcę o tym wiedzieć.

Prompt, który obniża koszt weryfikacji

Kiedy już decyduję się użyć modelu w obszarze z faktami, każę mu od razu wskazać własne słabe punkty. To nie zastępuje sprawdzania, ale skraca je, bo wiem, gdzie patrzeć najpierw.

Po udzieleniu odpowiedzi dopisz sekcję „DO SPRAWDZENIA".
Wypisz w niej:
1. Każdą liczbę, datę, nazwę własną i cytat, których użyłeś.
2. Przy każdej pozycji zaznacz, czy jest pewna, czy odtworzona z pamięci.
3. Twierdzenia, które brzmią sensownie, ale mogą być nieaktualne.
4. Miejsca, w których uzupełniłeś lukę domysłem, zamiast napisać, że nie wiesz.
Jeśli czegoś nie wiesz, napisz „nie wiem" zamiast wersji prawdopodobnej.

Moje reguły w jednym miejscu

1. Nie używam modelu tam, gdzie nie mam jak sprawdzić wyniku.
2. Jeśli brief byłby dłuższy niż robota, robię robotę.
3. Reguła dwóch podejść, przy trzecim wracam do klawiatury.
4. Decyzje nieodwracalne i dotyczące ludzi podejmuję sam, model rozpisuje opcje.
5. W wiadomościach, w których liczy się wysiłek, słowa są moje. Model może być czytelnikiem.
6. W rdzeniu kompetencji jedno zadanie dziennie robię od zera.
7. Najpierw moja wersja, dopiero potem model.
8. „Prawie dobre” wyrzucam, nie poprawiam.
9. Kiedy używam modelu dla wygody, nazywam to wygodą, nie oszczędnością.

Żadna z tych reguł nie jest o tym, że AI jest słabe. Wszystkie są o tym, że narzędzie zmienia miejsce, w którym pojawia się wysiłek, i czasem przenosi go tam, gdzie kosztuje mnie więcej. Cała sztuka polega na zauważeniu tego przed, a nie po.

Tekst powstał z pomocą AI i został zredagowany przez człowieka.

// czytaj dalejManus: agent, który wykonuje zadania zamiast odpowiadać na pytaniaArtykułyPierwszy skrypt od AI: opis zadania, próba na kopii i kontrola przed uruchomieniemEvergreenyJak budować akapit, który da się zacytować: warsztat pisania pod odpowiedzi AIEvergreeny