mirror of https://github.com/explosion/spaCy.git
59 lines
720 B
Python
59 lines
720 B
Python
|
# encoding: utf8
|
||
|
|
from __future__ import unicode_literals
|
||
|
|
|
||
|
|
from ..symbols import *
|
||
|
|
from ..language_data import PRON_LEMMA
|
||
|
|
|
||
|
|
|
||
|
|
TOKENIZER_EXCEPTIONS = {
|
||
|
|
|
||
|
|
}
|
||
|
|
|
||
|
|
|
||
|
|
ORTH_ONLY = [
|
||
|
|
"ang.",
|
||
|
|
"anm.",
|
||
|
|
"bil.",
|
||
|
|
"bl.a.",
|
||
|
|
"dvs.",
|
||
|
|
"e.Kr.",
|
||
|
|
"el.",
|
||
|
|
"e.d.",
|
||
|
|
"eng.",
|
||
|
|
"etc.",
|
||
|
|
"exkl.",
|
||
|
|
"f.d.",
|
||
|
|
"fid.",
|
||
|
|
"f.Kr.",
|
||
|
|
"forts.",
|
||
|
|
"fr.o.m.",
|
||
|
|
"f.ö.",
|
||
|
|
"förf.",
|
||
|
|
"inkl.",
|
||
|
|
"jur.",
|
||
|
|
"kl.",
|
||
|
|
"kr.",
|
||
|
|
"lat.",
|
||
|
|
"m.a.o.",
|
||
|
|
"max.",
|
||
|
|
"m.fl.",
|
||
|
|
"min.",
|
||
|
|
"m.m.",
|
||
|
|
"obs.",
|
||
|
|
"o.d.",
|
||
|
|
"osv.",
|
||
|
|
"p.g.a.",
|
||
|
|
"ref.",
|
||
|
|
"resp.",
|
||
|
|
"s.",
|
||
|
|
"s.a.s.",
|
||
|
|
"s.k.",
|
||
|
|
"st.",
|
||
|
|
"s:t",
|
||
|
|
"t.ex.",
|
||
|
|
"t.o.m.",
|
||
|
|
"ung.",
|
||
|
|
"äv.",
|
||
|
|
"övers."
|
||
|
|
]
|