Ukryte znaki w tekście z AI
Tekst skopiowany z czatu, z PDF-a albo ze strony potrafi nieść znaki, których nie widać: spacje o zerowej szerokości, twarde spacje, miękkie dywizy, znaczniki kierunku pisma, a czasem cyrylickie litery udające polskie. Psują wyszukiwanie, walidację formularzy, CSV i kod. Wklej tekst, a pokażę każdy taki znak z pozycją i kodem, wytłumaczę, skąd się wziął, i wyczyszczę to, na co się zgodzisz.
Co siedzi w tym tekście
Znalezione klasy znaków
Odznacz to, co ma zostać. Wszystko zaznaczone zniknie albo zamieni się na normalny odpowiednik po kliknięciu przycisku czyszczenia.
Gdzie dokładnie siedzą
Każdy podejrzany znak zamieniam na etykietę z kodem. Najedź kursorem, żeby zobaczyć pozycję w tekście.
Skąd się to bierze
Z edytorów i PDF-ów
Twarda spacja wstawia się w Wordzie sama, gdy pilnuje, żeby liczba nie została oddzielona od jednostki. Miękki dywiz przychodzi z PDF-a razem z podziałem wyrazu na końcu wiersza. Oba są niewidoczne, oba psują wyszukiwanie i eksport do CSV.
Z modeli językowych
Tekst z czatu nierzadko niesie spacje o zerowej szerokości i wąskie spacje, głównie jako pozostałość po formatowaniu w interfejsie. Krąży też teoria, że to celowe znakowanie odpowiedzi. Nie mam na to dowodu i nie będę go udawał. Wiem tyle, że te znaki tam bywają i że lepiej ich nie przenosić dalej.
Z podszywania się
Cyrylickie „а” wygląda jak polskie „a”, ale to inny znak. Tak buduje się adresy udające znane domeny i tak omija się filtry słów. W zwykłym tekście to prawie zawsze przypadek po kopiowaniu, ale w linku albo loginie to sygnał ostrzegawczy.