Leksinė analizė yra simbolių eilutės (arba, paprasčiau tariant, teksto) paėmimas ir pavertimas prasmingomis grupėmis, vadinamomis žetonais. Ši metodika naudojama įvairiose programose – nuo kompiuterinių kalbų interpretavimo iki knygų analizės. Leksinė analizė nėra analizės sinonimas; greičiau tai yra pirmasis viso analizavimo proceso žingsnis ir sukuriama žaliava vėlesniam naudojimui.
Žetonų blokai, dar vadinami leksemomis, gali būti generuojami įvairiais būdais, priklausomai nuo gramatikos, reikalingos leksinei analizei. Dažnas to pavyzdys yra sakinių skaidymas žodžiais; tai dažnai daroma dalijant sakinius tarp tarpų. Kiekviena ištisinė simbolių eilutė, sukurta be tarpų, yra leksema. Teksto eilutes galima padalyti į vieną ar kelis simbolių tipus, sukuriant kelias įvairaus sudėtingumo leksemų versijas. Žetonai generuojami įvertinus kiekvieną leksemą ir suporavus ją su atitinkama reikšme; pagal apibrėžimą žetonai nurodo šią porą, o ne tik leksemą.
Leksinė analizė, šiek tiek priešinga intuityviai, atima teksto eilutę iš konteksto. Jo tikslas yra tik generuoti blokus tolesniam tyrimui, o ne nustatyti, ar tie elementai yra galiojantys ar negaliojantys. Kompiuterinės kalbos interpretacijos atveju patvirtinimas atliekamas sintaksės analize, o teksto patvirtinimas gali būti atliekamas konteksto ar turinio požiūriu. Jei įvesties eilutė yra visiškai padalinta į atitinkamas leksemas ir kiekviena iš tų leksemų turi atitinkamą reikšmę, analizė laikoma sėkminga.
Be konteksto ar galimybės atlikti patvirtinimą, leksinė analizė negali būti patikimai naudojama norint rasti įvesties klaidas. Leksinėje gramatikoje konkrečioms leksemoms gali būti priskirtos klaidų reikšmės, o tokia analizė taip pat gali aptikti neteisėtus ar netinkamai suformuotus žetonus. Nors neteisėto arba netinkamai suformuoto prieigos rakto radimas signalizuoja apie neteisingą įvestį, tai neturi įtakos kitų žetonų galiojimui, todėl tai nėra tik patvirtinimo tipas.
Nors leksinė analizė yra neatsiejama daugelio algoritmų dalis, norint sukurti reikšmingus rezultatus, ji dažnai turi būti naudojama kartu su kitomis metodikomis. Pavyzdžiui, dalijant teksto eilutę į žodžius, siekiant nustatyti dažnius, naudojamas leksemos kūrimas, tačiau vien leksemos kūrimas negali stebėti, kiek kartų tam tikra leksema pasirodo įvestyje. Leksinė analizė gali būti naudinga pati savaime, jei įsidėmėtina pačios leksemos, tačiau dėl didelio duomenų kiekio gali būti sudėtinga analizuoti neapdorotas leksemas.