Ukryte znaki w tekście z czatu. Skąd się biorą i co psują

👁 150 przeczytań

Pierwszy raz zderzyłem się z tym przy zwykłej robocie redakcyjnej. Szukałem w dokumencie frazy, którą widziałem na ekranie, i wyszukiwarka uparcie twierdziła, że jej nie ma. Fraza była. Między dwoma wyrazami siedziała spacja, która nie była spacją.

Katalog rzeczy, których nie widać

Najgorsza jest spacja o zerowej szerokości. Zajmuje miejsce w tekście, ale nie zajmuje miejsca na ekranie, więc nie da się jej zobaczyć ani zaznaczyć myszą. Znajdziesz ją tylko wtedy, gdy jej szukasz.

Twarda spacja wygląda jak zwykła, ale nią nie jest. Wstawia się sama w edytorach tekstu, kiedy pilnują, żeby liczba nie została oddzielona od jednostki na końcu wiersza. Szukanie frazy ze zwykłą spacją jej nie znajdzie, a przy imporcie do arkusza kalkulacyjnego zamienia liczbę w tekst i rozjeżdża sumowanie.

Miękki dywiz przychodzi z plików PDF razem z podziałem wyrazu na końcu wiersza. Znaczniki kierunku pisma sterują tym, jak tekst się wyświetla, i w tekście po polsku nie mają czego robić. Do tego dochodzą wąskie spacje, spacje szerokości cyfry, selektory wariantu zostawione po emoji i znaki sterujące z odległych epok informatyki.

Litery, które udają inne litery

Osobna kategoria to homoglify. Cyrylickie „а” wygląda identycznie jak polskie „a”, bo w wielu krojach pisma jest rysowane tak samo. To jednak inny znak, o innym numerze, więc wyszukiwarka go nie znajdzie, a filtr słów go nie zatrzyma.

W zwykłym tekście to prawie zawsze przypadek po kopiowaniu z materiału pisanego w kilku alfabetach. W adresie strony, w nazwie pliku albo w loginie to już inna sprawa. Tak buduje się adresy udające znane domeny i tak omija się blokady. Jeśli widzisz podejrzany link, sprawdzenie, czy nie ma w nim liter z innego alfabetu, zajmuje sekundę i bywa rozstrzygające.

Skąd to się bierze w tekstach z czatu

Tekst skopiowany z okna rozmowy nierzadko niesie spacje o zerowej szerokości i wąskie spacje. Najczęściej jest to pozostałość po formatowaniu w interfejsie, tak samo jak przy kopiowaniu ze strony internetowej.

Krąży też teoria, że to celowe znakowanie odpowiedzi, które ma pozwolić rozpoznać tekst wygenerowany przez konkretny model. Nie mam na to dowodu i nie będę udawał, że mam. Wiem tyle, że te znaki tam bywają, że nie służą do niczego pożytecznego w Twoim dokumencie i że lepiej ich nie przenosić dalej. To wystarczy, żeby je usuwać, bez budowania spiskowej narracji.

Co konkretnie psują

Wyszukiwanie i zamianę tekstu, bo szukana fraza przestaje pasować. Walidację formularzy, bo pole z niewidocznym znakiem na końcu bywa odrzucane bez czytelnego komunikatu. Pliki CSV, bo nietypowa spacja w liczbie robi z niej tekst. Kod źródłowy, bo znak o zerowej szerokości wklejony między nawiasy daje błąd składni, którego po prostu nie widać w edytorze i można nad nim stracić godzinę.

Do tego dochodzi rzecz drobna, ale irytująca: licznik znaków pokazuje inną liczbę, niż wynika z tego, co widać. Przy limitach na tytuł czy opis meta potrafi to zaboleć.

Jak to sprawdzić i wyczyścić

Wklej tekst do narzędzia do ukrytych znaków. Pokazuje każdy taki znak z jego numerem i pozycją, tłumaczy, skąd się bierze, i pozwala wyczyścić wybiórczo, klasa po klasie. To ostatnie jest ważniejsze, niż wygląda: twarda spacja w zapisie kwoty bywa zamierzona i wtedy nie chcesz jej stracić, a spacja o zerowej szerokości nie jest zamierzona nigdy.

Homoglify zamieniam na prawidłowe odpowiedniki łacińskie, a nie usuwam, bo to jest jedyna sensowna naprawa. Cyrylickie „а” w polskim słowie ma zostać polskim „a”, nie zniknąć.

Gdzie wstawić czyszczenie w obiegu pracy

Sprawdzanie tekstu po fakcie, kiedy coś już nie działa, to najgorszy moment. Lepiej wpiąć czyszczenie w miejsce, przez które i tak wszystko przechodzi. U mnie to jest krok tuż przed wklejeniem do systemu publikacyjnego: cokolwiek przyszło z zewnątrz, najpierw idzie przez kontrolę znaków, dopiero potem do edytora. Zajmuje to dwie sekundy i wyłapuje problem, zanim wejdzie do bazy.

Jeśli przyjmujesz teksty od innych osób przez formularz na stronie, warto poczyścić je po stronie serwera, przy zapisie. Użytkownik nie ma pojęcia, że jego tekst niesie niewidoczne znaki, i nie ma powodu, żeby miał. Prosta funkcja usuwająca znaki o zerowej szerokości i zamieniająca nietypowe spacje na zwykłe rozwiązuje to raz na zawsze, a przy okazji ratuje wyszukiwarkę na Twojej własnej stronie.

Jedna rzecz wymaga ostrożności. Twarda spacja bywa wstawiona celowo, żeby liczba nie odkleiła się od jednostki albo inicjał od nazwiska. Jeśli czyścisz automatem, zamieniaj ją na zwykłą spację zamiast usuwać, bo różnica między dwunastoma tysiącami złotych a dwunastoma tysiącami przeniesionymi do następnego wiersza jest wyłącznie typograficzna, ale sklejenie liczby z jednostką w jedno słowo psuje już sens.

Jeśli pracujesz z tekstem zawodowo, wyrób sobie odruch przepuszczania przez to wszystkiego, co przychodzi z zewnątrz: z czatu, z PDF-a, od klienta. Zajmuje to dwie sekundy i oszczędza tych godzin, w których szuka się błędu, którego nie widać.

// czytaj dalejZanim wkleisz umowę do czatu. Co realnie wysyłasz i jak to wyciąćNarzędziaGdy hobby decyduje o karierze. Belgijskie badanie ujawniło ukryte uprzedzenia AI w rekrutacjiPremiumMeta kupuje Assured Robot Intelligence. Zuckerberg chce, żeby AI wyszła z czatu i nauczyła się ludziPremium