spaCy/spacy/lang/lt/tokenizer_exceptions.py

from ...symbols import ORTH

_exc = {}

for orth in [
    "n-tosios",
    "?!",
    #    "G.",
    #    "J. E.",
    #    "J. Em.",
    #    "J.E.",
    #    "J.Em.",
    #    "K.",
    #    "N.",
    #    "V.",
    #    "Vt.",
    #    "a.",
    #    "a.k.",
    #    "a.s.",
    #    "adv.",
    #    "akad.",
    #    "aklg.",
    #    "akt.",
    #    "al.",
    #    "ang.",
    #    "angl.",
    #    "aps.",
    #    "apskr.",
    #    "apyg.",
    #    "arbat.",
    #    "asist.",
    #    "asm.",
    #    "asm.k.",
    #    "asmv.",
    #    "atk.",
    #    "atsak.",
    #    "atsisk.",
    #    "atsisk.sąsk.",
    #    "atv.",
    #    "aut.",
    #    "avd.",
    #    "b.k.",
    #    "baud.",
    #    "biol.",
    #    "bkl.",
    #    "bot.",
    #    "bt.",
    #    "buv.",
    #    "ch.",
    #    "chem.",
    #    "corp.",
    #    "d.",
    #    "dab.",
    #    "dail.",
    #    "dek.",
    #    "deš.",
    #    "dir.",
    #    "dirig.",
    #    "doc.",
    #    "dol.",
    #    "dr.",
    #    "drp.",
    #    "dvit.",
    #    "dėst.",
    #    "dš.",
    #    "dž.",
    #    "e.b.",
    #    "e.bankas",
    #    "e.p.",
    #    "e.parašas",
    #    "e.paštas",
    #    "e.v.",
    #    "e.valdžia",
    #    "egz.",
    #    "eil.",
    #    "ekon.",
    #    "el.",
    #    "el.bankas",
    #    "el.p.",
    #    "el.parašas",
    #    "el.paštas",
    #    "el.valdžia",
    #    "etc.",
    #    "ež.",
    #    "fak.",
    #    "faks.",
    #    "feat.",
    #    "filol.",
    #    "filos.",
    #    "g.",
    #    "gen.",
    #    "geol.",
    #    "gerb.",
    #    "gim.",
    #    "gr.",
    #    "gv.",
    #    "gyd.",
    #    "gyv.",
    #    "habil.",
    #    "inc.",
    #    "insp.",
    #    "inž.",
    #    "ir pan.",
    #    "ir t. t.",
    #    "isp.",
    #    "istor.",
    #    "it.",
    #    "just.",
    #    "k.",
    #    "k. a.",
    #    "k.a.",
    #    "kab.",
    #    "kand.",
    #    "kart.",
    #    "kat.",
    #    "ketv.",
    #    "kh.",
    #    "kl.",
    #    "kln.",
    #    "km.",
    #    "kn.",
    #    "koresp.",
    #    "kpt.",
    #    "kr.",
    #    "kt.",
    #    "kub.",
    #    "kun.",
    #    "kv.",
    #    "kyš.",
    #    "l. e. p.",
    #    "l.e.p.",
    #    "lenk.",
    #    "liet.",
    #    "lot.",
    #    "lt.",
    #    "ltd.",
    #    "ltn.",
    #    "m.",
    #    "m.e..",
    #    "m.m.",
    #    "mat.",
    #    "med.",
    #    "mgnt.",
    #    "mgr.",
    #    "min.",
    #    "mjr.",
    #    "ml.",
    #    "mln.",
    #    "mlrd.",
    #    "mob.",
    #    "mok.",
    #    "moksl.",
    #    "mokyt.",
    #    "mot.",
    #    "mr.",
    #    "mst.",
    #    "mstl.",
    #    "mėn.",
    #    "nkt.",
    #    "no.",
    #    "nr.",
    #    "ntk.",
    #    "nuotr.",
    #    "op.",
    #    "org.",
    #    "orig.",
    #    "p.",
    #    "p.d.",
    #    "p.m.e.",
    #    "p.s.",
    #    "pab.",
    #    "pan.",
    #    "past.",
    #    "pav.",
    #    "pavad.",
    #    "per.",
    #    "perd.",
    #    "pirm.",
    #    "pl.",
    #    "plg.",
    #    "plk.",
    #    "pr.",
    #    "pr.Kr.",
    #    "pranc.",
    #    "proc.",
    #    "prof.",
    #    "prom.",
    #    "prot.",
    #    "psl.",
    #    "pss.",
    #    "pvz.",
    #    "pšt.",
    #    "r.",
    #    "raj.",
    #    "red.",
    #    "rez.",
    #    "rež.",
    #    "rus.",
    #    "rš.",
    #    "s.",
    #    "sav.",
    #    "saviv.",
    #    "sek.",
    #    "sekr.",
    #    "sen.",
    #    "sh.",
    #    "sk.",
    #    "skg.",
    #    "skv.",
    #    "skyr.",
    #    "sp.",
    #    "spec.",
    #    "sr.",
    #    "st.",
    #    "str.",
    #    "stud.",
    #    "sąs.",
    #    "t.",
    #    "t. p.",
    #    "t. y.",
    #    "t.p.",
    #    "t.t.",
    #    "t.y.",
    #    "techn.",
    #    "tel.",
    #    "teol.",
    #    "th.",
    #    "tir.",
    #    "trit.",
    #    "trln.",
    #    "tšk.",
    #    "tūks.",
    #    "tūkst.",
    #    "up.",
    #    "upl.",
    #    "v.s.",
    #    "vad.",
    #    "val.",
    #    "valg.",
    #    "ved.",
    #    "vert.",
    #    "vet.",
    #    "vid.",
    #    "virš.",
    #    "vlsč.",
    #    "vnt.",
    #    "vok.",
    #    "vs.",
    #    "vtv.",
    #    "vv.",
    #    "vyr.",
    #    "vyresn.",
    #    "zool.",
    #    "Įn",
    #    "įl.",
    #    "š.m.",
    #    "šnek.",
    #    "šv.",
    #    "švč.",
    #    "ž.ū.",
    #    "žin.",
    #    "žml.",
    #    "žr.",
]:
    _exc[orth] = [{ORTH: orth}]

TOKENIZER_EXCEPTIONS = _exc