mirror of https://github.com/explosion/spaCy.git
Improve the stop words and the tokenizer exceptions in Bulgarian language. (#8862)
* Add more stop words and Improve the readability * Add and categorize the tokenizer exceptions for `bg` lang * Create syrull.md * Add references for the additional stop words and tokenizer exc abbrs
This commit is contained in:
Dimitar Ganev
GitHub
parent
415dee587c
commit
733ffe439d
|
|
@ -0,0 +1,106 @@
|
|||
# spaCy contributor agreement
|
||||
|
||||
This spaCy Contributor Agreement (**"SCA"**) is based on the
|
||||
[Oracle Contributor Agreement](http://www.oracle.com/technetwork/oca-405177.pdf).
|
||||
The SCA applies to any contribution that you make to any product or project
|
||||
managed by us (the **"project"**), and sets out the intellectual property rights
|
||||
you grant to us in the contributed materials. The term **"us"** shall mean
|
||||
[ExplosionAI GmbH](https://explosion.ai/legal). The term
|
||||
**"you"** shall mean the person or entity identified below.
|
||||
|
||||
If you agree to be bound by these terms, fill in the information requested
|
||||
below and include the filled-in version with your first pull request, under the
|
||||
folder [`.github/contributors/`](/.github/contributors/). The name of the file
|
||||
should be your GitHub username, with the extension `.md`. For example, the user
|
||||
example_user would create the file `.github/contributors/example_user.md`.
|
||||
|
||||
Read this agreement carefully before signing. These terms and conditions
|
||||
constitute a binding legal agreement.
|
||||
|
||||
## Contributor Agreement
|
||||
|
||||
1. The term "contribution" or "contributed materials" means any source code,
|
||||
object code, patch, tool, sample, graphic, specification, manual,
|
||||
documentation, or any other material posted or submitted by you to the project.
|
||||
|
||||
2. With respect to any worldwide copyrights, or copyright applications and
|
||||
registrations, in your contribution:
|
||||
|
||||
* you hereby assign to us joint ownership, and to the extent that such
|
||||
assignment is or becomes invalid, ineffective or unenforceable, you hereby
|
||||
grant to us a perpetual, irrevocable, non-exclusive, worldwide, no-charge,
|
||||
royalty-free, unrestricted license to exercise all rights under those
|
||||
copyrights. This includes, at our option, the right to sublicense these same
|
||||
rights to third parties through multiple levels of sublicensees or other
|
||||
licensing arrangements;
|
||||
|
||||
* you agree that each of us can do all things in relation to your
|
||||
contribution as if each of us were the sole owners, and if one of us makes
|
||||
a derivative work of your contribution, the one who makes the derivative
|
||||
work (or has it made will be the sole owner of that derivative work;
|
||||
|
||||
* you agree that you will not assert any moral rights in your contribution
|
||||
against us, our licensees or transferees;
|
||||
|
||||
* you agree that we may register a copyright in your contribution and
|
||||
exercise all ownership rights associated with it; and
|
||||
|
||||
* you agree that neither of us has any duty to consult with, obtain the
|
||||
consent of, pay or render an accounting to the other for any use or
|
||||
distribution of your contribution.
|
||||
|
||||
3. With respect to any patents you own, or that you can license without payment
|
||||
to any third party, you hereby grant to us a perpetual, irrevocable,
|
||||
non-exclusive, worldwide, no-charge, royalty-free license to:
|
||||
|
||||
* make, have made, use, sell, offer to sell, import, and otherwise transfer
|
||||
your contribution in whole or in part, alone or in combination with or
|
||||
included in any product, work or materials arising out of the project to
|
||||
which your contribution was submitted, and
|
||||
|
||||
* at our option, to sublicense these same rights to third parties through
|
||||
multiple levels of sublicensees or other licensing arrangements.
|
||||
|
||||
4. Except as set out above, you keep all right, title, and interest in your
|
||||
contribution. The rights that you grant to us under these terms are effective
|
||||
on the date you first submitted a contribution to us, even if your submission
|
||||
took place before the date you sign these terms.
|
||||
|
||||
5. You covenant, represent, warrant and agree that:
|
||||
|
||||
* Each contribution that you submit is and shall be an original work of
|
||||
authorship and you can legally grant the rights set out in this SCA;
|
||||
|
||||
* to the best of your knowledge, each contribution will not violate any
|
||||
third party's copyrights, trademarks, patents, or other intellectual
|
||||
property rights; and
|
||||
|
||||
* each contribution shall be in compliance with U.S. export control laws and
|
||||
other applicable export and import laws. You agree to notify us if you
|
||||
become aware of any circumstance which would make any of the foregoing
|
||||
representations inaccurate in any respect. We may publicly disclose your
|
||||
participation in the project, including the fact that you have signed the SCA.
|
||||
|
||||
6. This SCA is governed by the laws of the State of California and applicable
|
||||
U.S. Federal law. Any choice of law rules will not apply.
|
||||
|
||||
7. Please place an “x” on one of the applicable statement below. Please do NOT
|
||||
mark both statements:
|
||||
|
||||
* [x] I am signing on behalf of myself as an individual and no other person
|
||||
or entity, including my employer, has or will have rights with respect to my
|
||||
contributions.
|
||||
|
||||
* [ ] I am signing on behalf of my employer or a legal entity and I have the
|
||||
actual authority to contractually bind that entity.
|
||||
|
||||
## Contributor Details
|
||||
|
||||
| Field | Entry |
|
||||
|------------------------------- | -------------------- |
|
||||
| Name | Dimitar Ganev |
|
||||
| Company name (if applicable) | |
|
||||
| Title or role (if applicable) | |
|
||||
| Date | 2021/8/2 |
|
||||
| GitHub username | syrull |
|
||||
| Website (optional) | |
|
||||
|
|
@ -1,265 +1,79 @@
|
|||
# Source: https://github.com/Alir3z4/stop-words
|
||||
|
||||
"""
|
||||
References:
|
||||
https://github.com/Alir3z4/stop-words - Original list, serves as a base.
|
||||
https://postvai.com/books/stop-dumi.pdf - Additions to the original list in order to improve it.
|
||||
"""
|
||||
STOP_WORDS = set(
|
||||
"""
|
||||
а
|
||||
автентичен
|
||||
аз
|
||||
ако
|
||||
ала
|
||||
бе
|
||||
без
|
||||
беше
|
||||
би
|
||||
бивш
|
||||
бивша
|
||||
бившо
|
||||
бил
|
||||
била
|
||||
били
|
||||
било
|
||||
благодаря
|
||||
близо
|
||||
бъдат
|
||||
бъде
|
||||
бяха
|
||||
в
|
||||
вас
|
||||
ваш
|
||||
ваша
|
||||
вероятно
|
||||
вече
|
||||
взема
|
||||
ви
|
||||
вие
|
||||
винаги
|
||||
внимава
|
||||
време
|
||||
все
|
||||
всеки
|
||||
всички
|
||||
всичко
|
||||
всяка
|
||||
във
|
||||
въпреки
|
||||
върху
|
||||
г
|
||||
ги
|
||||
главен
|
||||
главна
|
||||
главно
|
||||
глас
|
||||
го
|
||||
година
|
||||
години
|
||||
годишен
|
||||
д
|
||||
да
|
||||
дали
|
||||
два
|
||||
двама
|
||||
двамата
|
||||
две
|
||||
двете
|
||||
ден
|
||||
днес
|
||||
дни
|
||||
до
|
||||
добра
|
||||
добре
|
||||
добро
|
||||
добър
|
||||
докато
|
||||
докога
|
||||
дори
|
||||
досега
|
||||
доста
|
||||
друг
|
||||
друга
|
||||
други
|
||||
е
|
||||
евтин
|
||||
едва
|
||||
един
|
||||
една
|
||||
еднаква
|
||||
еднакви
|
||||
еднакъв
|
||||
едно
|
||||
екип
|
||||
ето
|
||||
живот
|
||||
за
|
||||
забавям
|
||||
зад
|
||||
заедно
|
||||
заради
|
||||
засега
|
||||
заспал
|
||||
затова
|
||||
защо
|
||||
защото
|
||||
и
|
||||
из
|
||||
или
|
||||
им
|
||||
има
|
||||
имат
|
||||
иска
|
||||
й
|
||||
каза
|
||||
как
|
||||
каква
|
||||
какво
|
||||
както
|
||||
какъв
|
||||
като
|
||||
кога
|
||||
когато
|
||||
което
|
||||
които
|
||||
кой
|
||||
който
|
||||
колко
|
||||
която
|
||||
къде
|
||||
където
|
||||
към
|
||||
лесен
|
||||
лесно
|
||||
ли
|
||||
лош
|
||||
м
|
||||
май
|
||||
малко
|
||||
ме
|
||||
между
|
||||
мек
|
||||
мен
|
||||
месец
|
||||
ми
|
||||
много
|
||||
мнозина
|
||||
мога
|
||||
могат
|
||||
може
|
||||
мокър
|
||||
моля
|
||||
момента
|
||||
му
|
||||
н
|
||||
на
|
||||
над
|
||||
назад
|
||||
най
|
||||
направи
|
||||
напред
|
||||
например
|
||||
нас
|
||||
не
|
||||
него
|
||||
нещо
|
||||
нея
|
||||
ни
|
||||
ние
|
||||
никой
|
||||
нито
|
||||
нищо
|
||||
но
|
||||
нов
|
||||
нова
|
||||
нови
|
||||
новина
|
||||
някои
|
||||
някой
|
||||
няколко
|
||||
няма
|
||||
обаче
|
||||
около
|
||||
освен
|
||||
особено
|
||||
от
|
||||
отгоре
|
||||
отново
|
||||
още
|
||||
пак
|
||||
по
|
||||
повече
|
||||
повечето
|
||||
под
|
||||
поне
|
||||
поради
|
||||
после
|
||||
почти
|
||||
прави
|
||||
пред
|
||||
преди
|
||||
през
|
||||
при
|
||||
пък
|
||||
първата
|
||||
първи
|
||||
първо
|
||||
пъти
|
||||
равен
|
||||
равна
|
||||
с
|
||||
са
|
||||
сам
|
||||
само
|
||||
се
|
||||
сега
|
||||
си
|
||||
син
|
||||
скоро
|
||||
след
|
||||
следващ
|
||||
сме
|
||||
смях
|
||||
според
|
||||
сред
|
||||
срещу
|
||||
сте
|
||||
съм
|
||||
със
|
||||
също
|
||||
т
|
||||
тази
|
||||
така
|
||||
такива
|
||||
такъв
|
||||
там
|
||||
твой
|
||||
те
|
||||
тези
|
||||
ти
|
||||
т.н.
|
||||
то
|
||||
това
|
||||
тогава
|
||||
този
|
||||
той
|
||||
толкова
|
||||
точно
|
||||
три
|
||||
трябва
|
||||
тук
|
||||
тъй
|
||||
тя
|
||||
тях
|
||||
у
|
||||
утре
|
||||
харесва
|
||||
хиляди
|
||||
ч
|
||||
часа
|
||||
че
|
||||
често
|
||||
чрез
|
||||
ще
|
||||
щом
|
||||
а автентичен аз ако ала
|
||||
|
||||
бе без беше би бивш бивша бившо бивши бил била били било благодаря близо бъдат
|
||||
бъде бъда бяха
|
||||
|
||||
в вас ваш ваша вашата вашият вероятно вече взема ви вие винаги внимава време все
|
||||
всеки всички вместо всичко вследствие всъщност всяка втори във въпреки върху
|
||||
вътре веднъж
|
||||
|
||||
г ги главен главна главно глас го годно година години годишен
|
||||
|
||||
д да дали далеч далече два двама двамата две двете ден днес дни до добра добре
|
||||
добро добър достатъчно докато докога дори досега доста друг друга другаде други
|
||||
|
||||
е евтин едва един една еднаква еднакви еднакъв едно екип ето
|
||||
|
||||
живот жив
|
||||
|
||||
за здравей здрасти знае зная забавям зад зададени заедно заради засега заспал
|
||||
затова запазва започвам защо защото завинаги
|
||||
|
||||
и из или им има имат иска искам използвайки изглежда изглеждаше изглеждайки
|
||||
извън имайки
|
||||
|
||||
й йо
|
||||
|
||||
каза казва казвайки казвам как каква какво както какъв като кога кауза каузи
|
||||
когато когото което които кой който колко която къде където към край кратък
|
||||
кръгъл
|
||||
|
||||
лесен лесно ли летя летиш летим лош
|
||||
|
||||
м май малко макар малцина междувременно минус ме между мек мен месец ми мис
|
||||
мисля много мнозина мога могат може мой можем мокър моля момента му
|
||||
|
||||
н на над назад най наш навсякъде навътре нагоре направи напред надолу наистина
|
||||
например наопаки наполовина напоследък нека независимо нас насам наскоро
|
||||
настрана необходимо него негов нещо нея ни ние никой нито нищо но нов някак нова
|
||||
нови новина някои някой някога някъде няколко няма
|
||||
|
||||
о обаче около описан опитах опитва опитвайки опитвам определен определено освен
|
||||
обикновено осигурява обратно означава особен особено от ох отвъд отгоре отдолу
|
||||
отново отива отивам отидох отсега отделно отколкото откъдето очевидно оттам
|
||||
относно още
|
||||
|
||||
п пак по повече повечето под поне просто пряко поради после последен последно
|
||||
посочен почти прави прав прави правя пред преди през при пък първата първи първо
|
||||
път пъти плюс
|
||||
|
||||
равен равна различен различни разумен разумно
|
||||
|
||||
с са сам само себе сериозно сигурен сигурно се сега си син скоро скорошен след
|
||||
следващ следващия следва следното следователно случва сме смях собствен
|
||||
сравнително смея според сред става срещу съвсем съдържа съдържащ съжалявам
|
||||
съответен съответно сте съм със също
|
||||
|
||||
т така техен техни такива такъв твърде там трета твой те тези ти то това
|
||||
тогава този той търси толкова точно три трябва тук тъй тя тях
|
||||
|
||||
у утре ужасно употреба успоредно уточнен уточняване
|
||||
|
||||
харесва харесали хиляди
|
||||
|
||||
ч часа ценя цяло цялостен че често чрез чудя
|
||||
|
||||
ще щеше щом щяха
|
||||
|
||||
юмрук
|
||||
я
|
||||
як
|
||||
|
||||
я як
|
||||
""".split()
|
||||
)
|
||||
|
|
|
|||
|
|
@ -1,10 +1,16 @@
|
|||
"""
|
||||
References:
|
||||
https://slovored.com/bg/abbr/grammar/ - Additional refs for abbreviations
|
||||
(countries, occupations, fields of studies and more).
|
||||
"""
|
||||
|
||||
from ...symbols import ORTH, NORM
|
||||
|
||||
|
||||
_exc = {}
|
||||
|
||||
|
||||
_abbr_exc = [
|
||||
# measurements
|
||||
for abbr in [
|
||||
{ORTH: "м", NORM: "метър"},
|
||||
{ORTH: "мм", NORM: "милиметър"},
|
||||
{ORTH: "см", NORM: "сантиметър"},
|
||||
|
|
@ -17,51 +23,191 @@ _abbr_exc = [
|
|||
{ORTH: "хл", NORM: "хектолиър"},
|
||||
{ORTH: "дкл", NORM: "декалитър"},
|
||||
{ORTH: "л", NORM: "литър"},
|
||||
]
|
||||
for abbr in _abbr_exc:
|
||||
]:
|
||||
_exc[abbr[ORTH]] = [abbr]
|
||||
|
||||
_abbr_line_exc = [
|
||||
# line abbreviations
|
||||
for abbr in [
|
||||
{ORTH: "г-жа", NORM: "госпожа"},
|
||||
{ORTH: "г-н", NORM: "господин"},
|
||||
{ORTH: "г-ца", NORM: "госпожица"},
|
||||
{ORTH: "д-р", NORM: "доктор"},
|
||||
{ORTH: "о-в", NORM: "остров"},
|
||||
{ORTH: "п-в", NORM: "полуостров"},
|
||||
]
|
||||
|
||||
for abbr in _abbr_line_exc:
|
||||
{ORTH: "с-у", NORM: "срещу"},
|
||||
{ORTH: "в-у", NORM: "върху"},
|
||||
{ORTH: "м-у", NORM: "между"},
|
||||
]:
|
||||
_exc[abbr[ORTH]] = [abbr]
|
||||
|
||||
_abbr_dot_exc = [
|
||||
# foreign language related abbreviations
|
||||
for abbr in [
|
||||
{ORTH: "англ.", NORM: "английски"},
|
||||
{ORTH: "ан.", NORM: "английски термин"},
|
||||
{ORTH: "араб.", NORM: "арабски"},
|
||||
{ORTH: "афр.", NORM: "африкански"},
|
||||
{ORTH: "гр.", NORM: "гръцки"},
|
||||
{ORTH: "лат.", NORM: "латински"},
|
||||
{ORTH: "рим.", NORM: "римски"},
|
||||
{ORTH: "старогр.", NORM: "старогръцки"},
|
||||
{ORTH: "староевр.", NORM: "староеврейски"},
|
||||
{ORTH: "фр.", NORM: "френски"},
|
||||
{ORTH: "хол.", NORM: "холандски"},
|
||||
{ORTH: "швед.", NORM: "шведски"},
|
||||
{ORTH: "шотл.", NORM: "шотландски"},
|
||||
{ORTH: "яп.", NORM: "японски"},
|
||||
]:
|
||||
_exc[abbr[ORTH]] = [abbr]
|
||||
|
||||
# profession and academic titles abbreviations
|
||||
for abbr in [
|
||||
{ORTH: "акад.", NORM: "академик"},
|
||||
{ORTH: "ал.", NORM: "алинея"},
|
||||
{ORTH: "арх.", NORM: "архитект"},
|
||||
{ORTH: "инж.", NORM: "инженер"},
|
||||
{ORTH: "канц.", NORM: "канцлер"},
|
||||
{ORTH: "проф.", NORM: "професор"},
|
||||
{ORTH: "св.", NORM: "свети"},
|
||||
]:
|
||||
_exc[abbr[ORTH]] = [abbr]
|
||||
|
||||
# fields of studies
|
||||
for abbr in [
|
||||
{ORTH: "агр.", NORM: "агрономия"},
|
||||
{ORTH: "ав.", NORM: "авиация"},
|
||||
{ORTH: "агр.", NORM: "агрономия"},
|
||||
{ORTH: "археол.", NORM: "археология"},
|
||||
{ORTH: "астр.", NORM: "астрономия"},
|
||||
{ORTH: "геод.", NORM: "геодезия"},
|
||||
{ORTH: "геол.", NORM: "геология"},
|
||||
{ORTH: "геом.", NORM: "геометрия"},
|
||||
{ORTH: "гимн.", NORM: "гимнастика"},
|
||||
{ORTH: "грам.", NORM: "граматика"},
|
||||
{ORTH: "жур.", NORM: "журналистика"},
|
||||
{ORTH: "журн.", NORM: "журналистика"},
|
||||
{ORTH: "зем.", NORM: "земеделие"},
|
||||
{ORTH: "икон.", NORM: "икономика"},
|
||||
{ORTH: "лит.", NORM: "литература"},
|
||||
{ORTH: "мат.", NORM: "математика"},
|
||||
{ORTH: "мед.", NORM: "медицина"},
|
||||
{ORTH: "муз.", NORM: "музика"},
|
||||
{ORTH: "печ.", NORM: "печатарство"},
|
||||
{ORTH: "пол.", NORM: "политика"},
|
||||
{ORTH: "псих.", NORM: "психология"},
|
||||
{ORTH: "соц.", NORM: "социология"},
|
||||
{ORTH: "стат.", NORM: "статистика"},
|
||||
{ORTH: "стил.", NORM: "стилистика"},
|
||||
{ORTH: "топогр.", NORM: "топография"},
|
||||
{ORTH: "търг.", NORM: "търговия"},
|
||||
{ORTH: "фарм.", NORM: "фармацевтика"},
|
||||
{ORTH: "фехт.", NORM: "фехтовка"},
|
||||
{ORTH: "физиол.", NORM: "физиология"},
|
||||
{ORTH: "физ.", NORM: "физика"},
|
||||
{ORTH: "фил.", NORM: "философия"},
|
||||
{ORTH: "фин.", NORM: "финанси"},
|
||||
{ORTH: "фолкл.", NORM: "фолклор"},
|
||||
{ORTH: "фон.", NORM: "фонетика"},
|
||||
{ORTH: "фот.", NORM: "фотография"},
|
||||
{ORTH: "футб.", NORM: "футбол"},
|
||||
{ORTH: "хим.", NORM: "химия"},
|
||||
{ORTH: "хир.", NORM: "хирургия"},
|
||||
{ORTH: "ел.", NORM: "електротехника"},
|
||||
]:
|
||||
_exc[abbr[ORTH]] = [abbr]
|
||||
|
||||
for abbr in [
|
||||
{ORTH: "ал.", NORM: "алинея"},
|
||||
{ORTH: "авт.", NORM: "автоматично"},
|
||||
{ORTH: "адм.", NORM: "администрация"},
|
||||
{ORTH: "арт.", NORM: "артилерия"},
|
||||
{ORTH: "бл.", NORM: "блок"},
|
||||
{ORTH: "бр.", NORM: "брой"},
|
||||
{ORTH: "бул.", NORM: "булевард"},
|
||||
{ORTH: "букв.", NORM: "буквално"},
|
||||
{ORTH: "в.", NORM: "век"},
|
||||
{ORTH: "вр.", NORM: "време"},
|
||||
{ORTH: "вм.", NORM: "вместо"},
|
||||
{ORTH: "воен.", NORM: "военен термин"},
|
||||
{ORTH: "г.", NORM: "година"},
|
||||
{ORTH: "гр.", NORM: "град"},
|
||||
{ORTH: "гл.", NORM: "глагол"},
|
||||
{ORTH: "др.", NORM: "други"},
|
||||
{ORTH: "ез.", NORM: "езеро"},
|
||||
{ORTH: "ж.р.", NORM: "женски род"},
|
||||
{ORTH: "инж.", NORM: "инженер"},
|
||||
{ORTH: "жп.", NORM: "железопът"},
|
||||
{ORTH: "застр.", NORM: "застрахователно дело"},
|
||||
{ORTH: "знач.", NORM: "значение"},
|
||||
{ORTH: "и др.", NORM: "и други"},
|
||||
{ORTH: "и под.", NORM: "и подобни"},
|
||||
{ORTH: "и пр.", NORM: "и прочие"},
|
||||
{ORTH: "изр.", NORM: "изречение"},
|
||||
{ORTH: "изт.", NORM: "източен"},
|
||||
{ORTH: "конкр.", NORM: "конкретно"},
|
||||
{ORTH: "лв.", NORM: "лев"},
|
||||
{ORTH: "л.", NORM: "лице"},
|
||||
{ORTH: "м.р.", NORM: "мъжки род"},
|
||||
{ORTH: "мат.", NORM: "математика"},
|
||||
{ORTH: "мед.", NORM: "медицина"},
|
||||
{ORTH: "мин.вр.", NORM: "минало време"},
|
||||
{ORTH: "мн.ч.", NORM: "множествено число"},
|
||||
{ORTH: "напр.", NORM: "например"},
|
||||
{ORTH: "нар.", NORM: "наречие"},
|
||||
{ORTH: "науч.", NORM: "научен термин"},
|
||||
{ORTH: "непр.", NORM: "неправилно"},
|
||||
{ORTH: "обик.", NORM: "обикновено"},
|
||||
{ORTH: "опред.", NORM: "определение"},
|
||||
{ORTH: "особ.", NORM: "особено"},
|
||||
{ORTH: "ост.", NORM: "остаряло"},
|
||||
{ORTH: "относ.", NORM: "относително"},
|
||||
{ORTH: "отр.", NORM: "отрицателно"},
|
||||
{ORTH: "пл.", NORM: "площад"},
|
||||
{ORTH: "проф.", NORM: "професор"},
|
||||
{ORTH: "пад.", NORM: "падеж"},
|
||||
{ORTH: "парл.", NORM: "парламентарен"},
|
||||
{ORTH: "погов.", NORM: "поговорка"},
|
||||
{ORTH: "пон.", NORM: "понякога"},
|
||||
{ORTH: "правосл.", NORM: "православен"},
|
||||
{ORTH: "прибл.", NORM: "приблизително"},
|
||||
{ORTH: "прил.", NORM: "прилагателно име"},
|
||||
{ORTH: "пр.", NORM: "прочие"},
|
||||
{ORTH: "с.", NORM: "село"},
|
||||
{ORTH: "с.р.", NORM: "среден род"},
|
||||
{ORTH: "св.", NORM: "свети"},
|
||||
{ORTH: "сп.", NORM: "списание"},
|
||||
{ORTH: "стр.", NORM: "страница"},
|
||||
{ORTH: "сз.", NORM: "съюз"},
|
||||
{ORTH: "сег.", NORM: "сегашно"},
|
||||
{ORTH: "сп.", NORM: "спорт"},
|
||||
{ORTH: "срв.", NORM: "сравни"},
|
||||
{ORTH: "с.ст.", NORM: "селскостопанска техника"},
|
||||
{ORTH: "счет.", NORM: "счетоводство"},
|
||||
{ORTH: "съкр.", NORM: "съкратено"},
|
||||
{ORTH: "съобщ.", NORM: "съобщение"},
|
||||
{ORTH: "същ.", NORM: "съществително"},
|
||||
{ORTH: "текст.", NORM: "текстилен"},
|
||||
{ORTH: "телев.", NORM: "телевизия"},
|
||||
{ORTH: "тел.", NORM: "телефон"},
|
||||
{ORTH: "т.е.", NORM: "тоест"},
|
||||
{ORTH: "т.н.", NORM: "така нататък"},
|
||||
{ORTH: "т.нар.", NORM: "така наречен"},
|
||||
{ORTH: "търж.", NORM: "тържествено"},
|
||||
{ORTH: "ул.", NORM: "улица"},
|
||||
{ORTH: "уч.", NORM: "училище"},
|
||||
{ORTH: "унив.", NORM: "университет"},
|
||||
{ORTH: "харт.", NORM: "хартия"},
|
||||
{ORTH: "хидр.", NORM: "хидравлика"},
|
||||
{ORTH: "хран.", NORM: "хранителна"},
|
||||
{ORTH: "църк.", NORM: "църковен термин"},
|
||||
{ORTH: "числ.", NORM: "числително"},
|
||||
{ORTH: "чл.", NORM: "член"},
|
||||
]
|
||||
|
||||
for abbr in _abbr_dot_exc:
|
||||
{ORTH: "ч.", NORM: "число"},
|
||||
{ORTH: "числ.", NORM: "числително"},
|
||||
{ORTH: "шахм.", NORM: "шахмат"},
|
||||
{ORTH: "шах.", NORM: "шахмат"},
|
||||
{ORTH: "юр.", NORM: "юридически"},
|
||||
]:
|
||||
_exc[abbr[ORTH]] = [abbr]
|
||||
|
||||
# slash abbreviations
|
||||
for abbr in [
|
||||
{ORTH: "м/у", NORM: "между"},
|
||||
{ORTH: "с/у", NORM: "срещу"},
|
||||
]:
|
||||
_exc[abbr[ORTH]] = [abbr]
|
||||
|
||||
TOKENIZER_EXCEPTIONS = _exc
|
||||
|
|
|
|||
Loading…
Reference in New Issue