Trzy chaty, jeden test i miesiąc, który zmienił mój sposób myślenia o AI
Najbardziej zaskoczyło mnie nie to, który model wygrał, tylko to, jak bardzo każdy z nich ma charakter.
👁 164 przeczytań
- Autor po 30 dniach testów doszedł do wniosku, że żaden model nie jest najlepszy - każdy wygrywa w innym zadaniu i nie można ich traktować jako wymiennych.
- GPT oceniony jako niezawodny koń roboczy do szybkich zadań, Gemini jako najmniej przewidywalny z największą amplitudą wyników, Claude jako najlepszy wtedy, gdy tekst ma mieć duszę.
- Autor odkrył, że przez miesiąc nieświadomie faworyzował model piszący stylem najbliższym jego własnemu głosowi, co uznał za najniebezpieczniejszą pułapkę codziennego używania AI.
Zacznę od wyznania, które nie przystoi człowiekowi prowadzącemu blog o promptach: przez pierwszy tydzień tego eksperymentu byłem święcie przekonany, że marnuję czas. Bo co niby miałoby mnie zaskoczyć? Znam te modele. Płacę za wszystkie trzy. Używam ich codziennie do tego stopnia, że gdyby OpenAI, Anthropic i Google wystawiły mi rachunek za emocje, byłbym bankrutem. A jednak trzydziestego dnia siedziałem przed ekranem z tym specyficznym uczuciem, które ma się po dobrym filmie - że coś się we mnie przestawiło, tylko jeszcze nie wiem dokładnie co.
Pomysł był banalny. Jedno zadanie, to samo, codziennie, przez miesiąc, wrzucane w trzy okienka. Nie benchmark, nie sztuczny test na łamigłówki logiczne, które i tak nikogo w realnej pracy nie obchodzą. Zwykłe, brudne, ludzkie zadanie: napisz mi wstęp do artykułu o tym, dlaczego ludzie boją się sztucznej inteligencji. Ten sam prompt, słowo w słowo, dzień po dniu. Chciałem sprawdzić rzecz, o której wszyscy mówią, a mało kto naprawdę testuje - czy te modele są wymienne. Czy to jest jak wybór między Pepsi a Colą, czy raczej jak wybór między psem a kotem.
Odpowiedź, do której doszedłem, brzmi tak: to jest wybór między trzema różnymi ludźmi, których zatrudniasz do tej samej roboty. I dopiero kiedy to zrozumiałem, przestałem zadawać głupie pytanie „który jest najlepszy”.

GPT to kolega, który zawsze ma coś do powiedzenia
GPT był pierwszym, którego otwierałem każdego ranka, głównie z przyzwyczajenia. I muszę oddać mu sprawiedliwość - ten model nigdy, ani razu przez trzydzieści dni, nie zawahał się. Wrzucasz prompt, a on rusza z kopyta, jakby czekał na ten moment całe życie. Jest w tym coś uwodzicielskiego i coś odrobinę męczącego jednocześnie.
GPT pisze jak człowiek, który przeczytał wszystkie poradniki o pisaniu i teraz stosuje je naraz. Wie, że dobry wstęp powinien mieć hak. Wie, że warto zadać pytanie retoryczne. Wie, że czytelnik lubi konkret. Problem w tym, że on to wszystko wie tak bardzo, że czasem czuć wysiłek. To jest kolega z pracy, który na każdym spotkaniu ma gotową ripostę, zawsze błyskotliwą, ale po trzeciej z rzędu zaczynasz podejrzewać, że ćwiczył je w domu przed lustrem.
Zaskoczyło mnie co innego. GPT ma tendencję do tego, co nazwałbym uprzejmą inflacją. Poproś go o wstęp, dostaniesz wstęp, ale też trzy zdania wprowadzające do wstępu i jeszcze podpowiedź, jak mógłbyś go rozwinąć. On chce być pomocny do bólu. I to jest fascynujące, bo ta usłużność jest jednocześnie jego największą siłą i pułapką, w którą wpada każdy leniwy użytkownik. Bo skoro model tak chętnie dosypuje, to człowiek przestaje myśleć, ile z tego naprawdę potrzebuje.
Po dwóch tygodniach zacząłem rozpoznawać teksty GPT bez patrzenia na etykietkę. Jest w nich pewien rytm, pewna gładkość, która przypomina obsługę klienta w drogim hotelu. Wszystko na miejscu, wszystko uśmiechnięte, i tylko gdzieś z tyłu głowy kołacze pytanie, czy ten uśmiech jest prawdziwy.
Gemini, czyli najzdolniejszy uczeń, który nie do końca ufa sobie
Z Gemini miałem najtrudniejszą relację i to jest chyba najciekawsza część całej historii. Bo Gemini jest inteligentny w sposób, który potrafi zaskoczyć w środku zdania - a potem, dwa akapity dalej, robi coś tak dziwnego, że zastanawiasz się, czy to na pewno ten sam model.
Google zbudowało coś, co ma dostęp do ogromu wiedzy i wyraźnie z niej korzysta. Kiedy zadanie dotykało faktów, dat, kontekstu technologicznego, Gemini często wypadał najbardziej rzeczowo. Miałem wrażenie, że rozmawiam z kimś, kto naprawdę przeczytał artykuł, zanim zaczął o nim mówić, a nie tylko streszczenie na okładce. To był ten moment, w którym łapałem się na myśli „aha, więc o to chodzi z tym całym Google”.
Ale Gemini ma w sobie jakąś dziwną nerwowość. Potrafi napisać znakomity akapit, a potem sam się skorygować, dodać zastrzeżenie, zawahać się, jakby bał się, że powie za dużo. Jest jak zdolny student, który zna odpowiedź, ale zerka na profesora, czy aby na pewno może ją wypowiedzieć na głos. Ta ostrożność bywa cenna - naprawdę nie chcę modelu, który zmyśla z pełną pewnością siebie - ale w zadaniu twórczym potrafi zdusić iskrę.
Największym paradoksem tego eksperymentu było odkrycie, że model z dostępem do największej ilości wiedzy najczęściej bał się z niej odważnie skorzystać.
I tu pojawiła się rzecz, która mnie autentycznie zdziwiła. Ze wszystkich trzech to Gemini miał największą amplitudę. Jego najlepszy tekst przez te trzydzieści dni był lepszy od najlepszych tekstów konkurencji. Ale jego najsłabszy był też najsłabszy z całej trójki. Pozostałe modele trzymały równy poziom, jak zawodowcy, którzy nie mają złych dni. Gemini był artystą - genialnym w środę, rozkojarzonym w czwartek. Nie wiem, czy to bug, czy cecha. Wiem, że nie potrafiłem tego przewidzieć.

Claude, czyli ten, który pyta „a po co ci to?”
A potem był Claude. I muszę być tu uczciwy wobec czytelnika, bo mam pewien konflikt interesów: to jego używam najczęściej do pisania. Więc mogę być stronniczy. Ale właśnie dlatego ten eksperyment był dla mnie ważny - chciałem sprawdzić, czy moja sympatia to nawyk, czy uzasadniony wybór.
Claude pisze inaczej. Nie chodzi o to, że lepiej czy gorzej - chodzi o temperament. Tam, gdzie GPT rusza z kopyta, Claude jakby na moment przystaje. Ma w sobie coś z człowieka, który zanim odpowie, przechyla głowę i zastanawia się, o co ci tak naprawdę chodzi. Jego teksty są mniej wypolerowane niż GPT, ale częściej mają w sobie ten jeden nieoczywisty obraz, tę metaforę, której nie spodziewałem się z maszyny.
Zaskoczyło mnie, że Claude najczęściej ze wszystkich trzech modeli pisał zdania, które chciałem ukraść. Nie całe akapity - te były różnie. Ale pojedyncze sformułowania, które miały w sobie ciężar, rytm, coś ludzkiego. Jakby gdzieś w tej sieci neuronowej siedział ktoś, kto naprawdę lubi język, a nie tylko potrafi go składać.
Ma to swoją cenę. Claude bywa wstrzemięźliwy do frustracji. Poproś go o coś na granicy, o mocniejszy ton, o odrobinę bezczelności, a on założy garnitur i zacznie ważyć słowa jak dyplomata na przyjęciu. Są dni, kiedy chcę pisarza, a dostaję radcę prawnego. Ale kiedy trafiał, trafiał celniej niż pozostali. I to była dla mnie najważniejsza lekcja całego miesiąca.
Czego się naprawdę nauczyłem, a czego się spodziewałem
Spodziewałem się rankingu. Miejsce pierwsze, drugie, trzecie, ładna tabelka, satysfakcja z posiadania Jedynej Słusznej Odpowiedzi. Tymczasem po trzydziestu dniach doszedłem do wniosku, że pytanie „który model jest najlepszy” jest równie mądre jak pytanie „który jest najlepszym narzędziem - młotek, śrubokręt czy piła”.
Bo każdy z nich wygrywał, tylko w innym zadaniu. GPT był najlepszy, kiedy potrzebowałem czegoś szybko, solidnie, bez dramatów - koń pociągowy codziennej roboty. Gemini błyszczał, kiedy stawką były fakty i kontekst, i kiedy miałem cierpliwość przekopać się przez jego wahania po tę jedną znakomitą wersję. Claude wygrywał wtedy, gdy zależało mi na tym, żeby tekst miał duszę, nawet za cenę tego, że czasem trzeba go było popchnąć.
Ale najgłębsze zaskoczenie było innego rodzaju i przyszło dopiero pod koniec. Zdałem sobie sprawę, że przez trzydzieści dni nie testowałem trzech modeli. Testowałem samego siebie. To samo zadanie, powtórzone trzydzieści razy, obnażyło nie tyle różnice między maszynami, ile moje własne przyzwyczajenia, uprzedzenia i lenistwo. Zauważyłem, że nieświadomie faworyzuję model, który pisze tak, jak ja lubię czytać. Że nazywam „lepszym” ten, który brzmi najbardziej jak echo mojego własnego głosu.
I to jest, moim zdaniem, najbardziej niepokojąca rzecz w całej rewolucji AI, o której za mało się mówi. Nie boję się, że modele będą za głupie. Boję się, że będą dokładnie tak mądre, żeby mówić mi to, co chcę usłyszeć, stylem, który uważam za swój. Że przestanę odróżniać własną myśl od jej wygładzonej, potakującej wersji, którą podsuwa mi maszyna wytresowana na byciu przyjemną.
Google · Twoje źródłaPromptowy wyżej w Twoim Google - jednym kliknięciemDodaj do preferowanych źródeł →Trzy głosy i jeden problem
Wyszedłem z tego eksperymentu z przekonaniem, którego na początku nie miałem: że używanie tylko jednego modelu jest jak czytanie tylko jednej gazety. Wygodne, spójne, i powoli zawężające horyzont. Odkąd skończyłem test, celowo puszczam ważniejsze teksty przez wszystkie trzy, nie po to, żeby wybrać zwycięzcę, tylko po to, żeby zobaczyć trzy różne sposoby myślenia o tym samym. GPT pokaże mi wersję najbardziej oczywistą. Gemini podrzuci fakt, o którym nie pamiętałem. Claude sformułuje zdanie, które sam bym chciał napisać. A ja, gdzieś pośrodku tej trójki, mam szansę pozostać autorem, a nie redaktorem cudzych podpowiedzi.
Bo to jest sedno, którego nauczył mnie ten głupi, powtarzalny, trzydziestodniowy rytuał. Te modele nie są narzędziami, które dają odpowiedzi. Są lustrami, które pokazują, jakie pytania naprawdę zadajemy - i jak bardzo lubimy słyszeć własne odbicie. Najlepszy z nich nie jest tym, który pisze najładniej. Jest tym, który od czasu do czasu napisze coś, z czym się nie zgadzam. I dlatego, jeśli mam być z wami szczery, najbardziej po tym miesiącu boję się dnia, w którym wszystkie trzy zaczną mi odpowiadać dokładnie tak samo. Bo wtedy przestanę wiedzieć, gdzie kończy się maszyna, a zaczynam ja.
Cały tydzień w AI, w jednym mailu
Wybrane premiery, narzędzia i analizy. Raz w tygodniu, prosto do skrzynki.
Zapisz się za darmo →Najczęstsze pytania
Który model AI jest najlepszy do pisania - ChatGPT, Gemini czy Claude?
Według autora żaden nie jest bezwzględnie najlepszy, bo każdy wygrywa w innym zadaniu. GPT sprawdza się przy szybkiej, solidnej robocie, Gemini przy zadaniach wymagających faktów i kontekstu, a Claude gdy liczy się nieoczywiste sformułowanie i styl.
Jak bardzo różnią się odpowiedzi ChatGPT, Gemini i Claude na ten sam prompt?
Autor przez 30 dni wrzucał identyczny prompt do wszystkich trzech modeli i zauważył wyraźne różnice w temperamencie odpowiedzi. GPT był konsekwentnie gładki i usłużny, Claude bywał celniejszy w pojedynczych zdaniach, a Gemini miał największą amplitudę - jego najlepszy tekst był lepszy od najlepszych tekstów konkurencji, ale najsłabszy był też najsłabszy z całej trójki.
Czy warto używać kilku modeli AI jednocześnie zamiast jednego?
Autor po zakończeniu eksperymentu celowo puszcza ważniejsze teksty przez wszystkie trzy modele, ale nie po to, by wybrać zwycięzcę. GPT pokazuje wersję najbardziej oczywistą, Gemini podrzuca zapomniane fakty, a Claude formułuje zdanie, które autor sam chciałby napisać.
Co to jest efekt echa w modelach AI i dlaczego jest niebezpieczny?
Autor zauważył, że nieświadomie nazywał lepszym ten model, który brzmiał najbardziej jak echo jego własnego głosu. Jego zdaniem prawdziwe zagrożenie nie polega na tym, że modele będą za głupie, lecz na tym, że będą dokładnie tak mądre, by mówić użytkownikowi to, co chce usłyszeć.



