Ako AI „vidí“ text: Od tokenov k dátovému vesmíru

Ako AI „vidí“ text: Od tokenov k dátovému vesmíru

Väčšina ľudí vníma umelú inteligenciu veľmi jednoducho.

Napíšu otázku do chatbota, stlačia Enter a o pár sekúnd dostanú odpoveď. Navonok to vyzerá ako bežná komunikácia. Človek napíše vetu a AI odpovie vetou.

Lenže medzi týmito dvoma momentmi sa deje niečo oveľa zaujímavejšie.

Text sa najprv rozdelí na menšie časti, prevedie sa na čísla, spracuje sa matematicky a až potom s ním model dokáže pracovať. Pre používateľa je tento proces neviditeľný. Pre AI je to však základný spôsob, ako sa jazyk mení na dátový priestor.

A práve túto myšlienku sme sa rozhodli vizualizovať.

V projekte 3D Token Vector Space Viewer sme vytvorili interaktívny 3D pohľad na text. Nie ako obyčajný dokument, ale ako priestor plný bodov, smerov, vrstiev a vzťahov.

Výsledkom je experimentálny sci-fi viewer, v ktorom sa dá lietať medzi tokenmi podobne ako vo vesmíre.

🧩 Čo je token a prečo AI nečíta ako človek

Keď človek vidí slovo „automatizácia“, prirodzene ho vníma ako jeden celok.

AI model však text nespracováva presne takto. Počítač nepracuje priamo so slovami, ale s číslami. Preto sa text najprv rozdelí na menšie časti, ktorým sa hovorí tokeny.

Token môže byť celé slovo, časť slova, slabika, znak alebo kombinácia znakov.

Pri slovenčine je to obzvlášť zaujímavé. Máme diakritiku, skloňovanie, časovanie, predpony, prípony a dlhé zložené slová. To znamená, že jedno slovenské slovo sa môže rozdeliť na viacero menších tokenov.

Napríklad veta, ktorú človek prečíta ako jednoduchý text, môže byť pre AI séria desiatok alebo stoviek číselných identifikátorov.

Dôležité je pochopiť jednu vec:

Token ID ešte nie je význam.

Token ID je iba číselný identifikátor konkrétneho kúsku textu. Skutočný význam vzniká až neskôr — vtedy, keď model začne porovnávať tokeny v kontexte celej vety, odseku alebo dokumentu.

🇸🇰 Prečo je slovenčina pre AI náročnejšia

Angličtina má v AI svete veľkú výhodu. Veľa modelov bolo trénovaných prevažne na anglických textoch, preto majú bežné anglické slová často veľmi efektívnu tokenizáciu.

Slovenčina je komplikovanejšia.

Máme slová ako:

najpravdepodobnejšie, automatizáciami, zákazníckymi, nepochopiteľného, najdôležitejších.

Takéto slová sa môžu rozbiť na viacero tokenov. Nie preto, že by AI slovenčinu nevedela spracovať, ale preto, že jej vnútorný jazykový formát funguje inak ako ľudské čítanie.

To má praktický dopad.

Pri AI systémoch sa často nepočíta počet slov, ale počet tokenov. Tokeny ovplyvňujú cenu, rýchlosť, maximálnu dĺžku vstupu a množstvo kontextu, ktoré sa zmestí do modelu.

Preto je zaujímavé vidieť, ako sa obyčajný slovenský text rozpadne na dátovú štruktúru.

🧠 Ako AI „chápe“ text

Slovo „chápe“ dávame zámerne do úvodzoviek.

AI nerozumie textu tak ako človek. Nemá vlastnú skúsenosť, emócie ani vedomie. Namiesto toho pracuje so štatistickými a matematickými vzťahmi medzi slovami, vetami a kontextom.

Keď sa model učí z veľkého množstva textov, postupne zisťuje, ktoré slová sa často objavujú v podobných situáciách.

Napríklad:

kráľ, trón, koruna a panovník majú medzi sebou významový vzťah.

klimatizácia, montáž, servis a čistenie patria do iného významového okruhu.

web, automatizácia, CRM a chatbot zase vytvárajú technologický kontext.

Tieto vzťahy sa dajú reprezentovať ako čísla vo viacrozmernom priestore. Takýmto číselným reprezentáciám sa hovorí vektorové embeddingy.

Zjednodušene:

embedding je matematická poloha významu.

🌌 Čo je latentný priestor

Predstavte si mapu.

Na bežnej mape máte dve súradnice: šírku a dĺžku. Pri texte to však nestačí. Význam slov a viet má oveľa viac vlastností.

Text môže byť technický, emocionálny, obchodný, informačný, formálny, neformálny, otázkový, príkazový alebo kreatívny. Jedna veta môže niesť viacero významových vrstiev naraz.

Preto sa v AI používajú priestory, ktoré môžu mať stovky až tisíce dimenzií.

Takýto priestor sa často označuje ako latentný priestor.

V latentnom priestore môžu byť blízko seba texty, ktoré majú podobný význam, aj keď nepoužívajú rovnaké slová.

Napríklad veta:

„Potrebujem klimatizáciu do bytu.“

môže byť významovo blízko k vete:

„Chcem chladiť obývačku počas leta.“

Slová sú iné, ale zámer je podobný.

Práve toto je základ toho, prečo AI vyhľadávanie, chatboty a automatizácie dokážu pracovať aj s nepresne napísanými otázkami.

🛠️ Ako funguje náš 3D viewer

Ľudský mozog si nevie predstaviť 1536-rozmerný priestor. Preto potrebujeme matematický trik: zobraziť zložité dáta v troch dimenziách.

Na to sa používajú metódy ako PCA, UMAP alebo t-SNE.

V našom projekte aktuálne používame 3D vizualizačný model, ktorý ukazuje tokenový priestor ako interaktívnu scénu. Cieľom nie je tvrdiť, že sa pozeráme priamo do vnútra AI modelu. Cieľom je ukázať princíp:

text sa dá premeniť na číselné body a tieto body sa dajú vizualizovať ako priestor.

Viewer generuje:

3D body, spojnice medzi blízkymi bodmi, osy X, Y a Z, stredový bod 0,0,0, wireframe kocku, interaktívnu kameru, informačný panel s textom a štatistikami.

Výsledok pôsobí ako sci-fi mapa textu.

Nie je to obyčajný graf. Je to vizuálny pokus ukázať, že aj text môže mať tvar.

🎮 Lietanie medzi tokenmi

Celý viewer je postavený tak, aby si používateľ nemusel iba pasívne pozerať obrázok.

S priestorom sa dá interagovať.

Používateľ môže otáčať kameru, približovať sa, vzďaľovať sa, pozerať sa na stred 0,0,0 alebo si nastaviť vlastný pohľad. Jednotlivé body môžu niesť informácie o tokenoch a pri pohybe v priestore vzniká pocit, že človek nepozerá na text, ale vstupuje priamo do jeho dátovej štruktúry.

Tento typ vizualizácie je zaujímavý hlavne preto, že ľuďom pomáha intuitívne pochopiť, že AI nepracuje s textom ako s obyčajnými riadkami v dokumente.

Pracuje s ním ako so sieťou vzťahov.

✍️ Vyskúšajte si vlastný text

Ďalším krokom projektu je možnosť nahrať alebo vložiť vlastný text priamo do rozhrania.

Používateľ si bude môcť zobrať napríklad článok, poznámku, e-mail, popis firmy, obchodnú ponuku, technickú dokumentáciu alebo vlastný nápad a vložiť ho do systému.

Následne sa text spracuje a zobrazí ako 3D mapa.

Cieľom je ukázať, ako AI v úvodzovkách „vidí“ daný text:

ktoré časti sú výrazné, kde vznikajú zhluky, ktoré slová alebo úseky sú blízko pri sebe, ako sa text rozpadá na tokeny, a aký dátový tvar môže mať jeho významová štruktúra.

Na stránke preto pripravujeme jednoduché miesto, kde používateľ vloží vlastný text alebo nahrá .txt súbor.

Po odoslaní sa vygeneruje interaktívna 3D vizualizácia.

Používateľ tak nebude iba čítať o tom, ako AI pracuje s textom. Bude si to môcť priamo vyskúšať na vlastnom obsahu.

📥 Navrhovaný blok na stránke

Vyskúšajte si vlastný text

Vložte krátky text, článok alebo poznámku a zobrazte si ho ako 3D mapu tokenov.

AI text nečíta ako človek. Rozkladá ho na menšie časti, prevádza ich na čísla a hľadá medzi nimi vzťahy. Tento nástroj vám ukáže vizuálnu interpretáciu toho, ako môže takýto textový priestor vyzerať.

Textové pole / Upload .txt súboru

Tlačidlo:

Vygenerovať 3D vizualizáciu

🔍 Čo táto vizualizácia ukazuje — a čo neukazuje

Je dôležité povedať to presne.

Tento viewer neznamená, že sa pozeráme priamo do „mozgu AI“. Nie je to doslovný záznam toho, čo sa deje v modeli ako ChatGPT.

Je to vizualizačný nástroj, ktorý pomáha pochopiť princíp:

text → tokeny → čísla → vektory → 3D priestor

Presná AI interpretácia textu je oveľa komplexnejšia. Zahŕňa pozornosť medzi tokenmi, kontextové vzťahy, vrstvy neurónovej siete, pravdepodobnosti ďalších slov a množstvo ďalších výpočtov.

Náš viewer je preto najlepšie chápať ako vizuálny most medzi človekom a matematickým svetom AI.

Nie je to úplná realita modelu. Je to spôsob, ako ju priblížiť ľudskému oku.

🚀 Prečo na tom záleží

AI bude čoraz viac súčasťou práce, marketingu, vyhľadávania, automatizácií aj rozhodovania.

Čím viac budeme rozumieť tomu, ako pracuje s textom, tým lepšie ju budeme vedieť používať.

Takýto 3D viewer pomáha vysvetliť veci, ktoré sú inak ťažko predstaviteľné:

čo sú tokeny, prečo AI nečíta ako človek, čo sú embeddingy, prečo podobné texty môžu byť blízko pri sebe, ako môže vyzerať významový priestor, prečo text nie je pre AI iba veta, ale dátová štruktúra.

Dáta nemusia byť iba tabuľky. Text nemusí byť iba odsek. A AI nemusí byť iba čierna skrinka.

Niekedy sa dá aj jazyk premeniť na priestor, do ktorého sa dá vstúpiť.

🧠 Záver

Projekt 3D Token Vector Space Viewer je experimentálny krok k tomu, aby boli AI procesy zrozumiteľnejšie aj pre bežného človeka.

Dnes je to lokálny 3D vizualizačný prototyp. Postupne sa z neho môže stať nástroj, kde si každý používateľ vloží vlastný text a okamžite uvidí, ako sa jeho obsah mení na dátový priestor.

Nie ako presná mapa vedomia AI. Ale ako názorný pohľad na to, že za každou odpoveďou chatbota sa skrýva obrovské množstvo čísel, vzťahov a matematických rozhodnutí.

A keď sa na to pozriete v 3D priestore, zrazu to prestane byť neviditeľné.