mirror of https://github.com/explosion/spaCy.git
109 lines
814 B
Python
109 lines
814 B
Python
|
# encoding: utf8
|
||
|
|
from __future__ import unicode_literals
|
||
|
|
|
||
|
|
# Source: https://github.com/stopwords-iso/stopwords-eu
|
||
|
|
# https://www.ranks.nl/stopwords/basque
|
||
|
|
# https://www.mustgo.com/worldlanguages/basque/
|
||
|
|
STOP_WORDS = set(
|
||
|
|
"""
|
||
|
|
al
|
||
|
|
anitz
|
||
|
|
arabera
|
||
|
|
asko
|
||
|
|
baina
|
||
|
|
bat
|
||
|
|
batean
|
||
|
|
batek
|
||
|
|
bati
|
||
|
|
batzuei
|
||
|
|
batzuek
|
||
|
|
batzuetan
|
||
|
|
batzuk
|
||
|
|
bera
|
||
|
|
beraiek
|
||
|
|
berau
|
||
|
|
berauek
|
||
|
|
bere
|
||
|
|
berori
|
||
|
|
beroriek
|
||
|
|
beste
|
||
|
|
bezala
|
||
|
|
da
|
||
|
|
dago
|
||
|
|
dira
|
||
|
|
ditu
|
||
|
|
du
|
||
|
|
dute
|
||
|
|
edo
|
||
|
|
egin
|
||
|
|
ere
|
||
|
|
eta
|
||
|
|
eurak
|
||
|
|
ez
|
||
|
|
gainera
|
||
|
|
gu
|
||
|
|
gutxi
|
||
|
|
guzti
|
||
|
|
haiei
|
||
|
|
haiek
|
||
|
|
haietan
|
||
|
|
hainbeste
|
||
|
|
hala
|
||
|
|
han
|
||
|
|
handik
|
||
|
|
hango
|
||
|
|
hara
|
||
|
|
hari
|
||
|
|
hark
|
||
|
|
hartan
|
||
|
|
hau
|
||
|
|
hauei
|
||
|
|
hauek
|
||
|
|
hauetan
|
||
|
|
hemen
|
||
|
|
hemendik
|
||
|
|
hemengo
|
||
|
|
hi
|
||
|
|
hona
|
||
|
|
honek
|
||
|
|
honela
|
||
|
|
honetan
|
||
|
|
honi
|
||
|
|
hor
|
||
|
|
hori
|
||
|
|
horiei
|
||
|
|
horiek
|
||
|
|
horietan
|
||
|
|
horko
|
||
|
|
horra
|
||
|
|
horrek
|
||
|
|
horrela
|
||
|
|
horretan
|
||
|
|
horri
|
||
|
|
hortik
|
||
|
|
hura
|
||
|
|
izan
|
||
|
|
ni
|
||
|
|
noiz
|
||
|
|
nola
|
||
|
|
non
|
||
|
|
nondik
|
||
|
|
nongo
|
||
|
|
nor
|
||
|
|
nora
|
||
|
|
ze
|
||
|
|
zein
|
||
|
|
zen
|
||
|
|
zenbait
|
||
|
|
zenbat
|
||
|
|
zer
|
||
|
|
zergatik
|
||
|
|
ziren
|
||
|
|
zituen
|
||
|
|
zu
|
||
|
|
zuek
|
||
|
|
zuen
|
||
|
|
zuten
|
||
|
|
""".split()
|
||
|
|
)
|