Rooba
/
spaCy
mirror of https://github.com/explosion/spaCy.git
1
1
Fork 0
Code Issues Packages Projects Releases Wiki Activity

Remove NER words from stop words in Norwegian (#9820) 

Default stop words in Norwegian bokmål (nb) in Spacy contain important entities, e.g. France, Germany, Russia, Sweden and USA, police district, important units of time, e.g. months and days of the week, and organisations.

Nobody expects their presence among the default stop words. There is a danger of users complying with the general recommendation of filtering out stop words, while being unaware of filtering out important entities from their data.

See explanation in https://github.com/explosion/spaCy/issues/3052#issuecomment-986756711 and comment https://github.com/explosion/spaCy/issues/3052#issuecomment-986951831
This commit is contained in:
Haakon Meland Eriksen 2021-12-07 09:45:10 +01:00 committed by GitHub
parent b4d526c357
commit 251119455d
No known key found for this signature in database
GPG Key ID: 4AEE18F83AFDEB23
1 changed files with 13 additions and 17 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

30
spacy/lang/nb/stop_words.py
View File

@ -4,46 +4,42 @@ alle allerede alt and andre annen annet at av
bak bare bedre beste blant ble bli blir blitt bris by både bak bare bedre beste blant ble bli blir blitt bris by både
da dag de del dem den denne der dermed det dette disse drept du da dag de del dem den denne der dermed det dette disse du
eller en enn er et ett etter eller en enn er et ett etter
fem fikk fire fjor flere folk for fortsatt fotball fra fram frankrike fredag fem fikk fire fjor flere folk for fortsatt fra fram
funnet få får fått før først første funnet få får fått før først første
gang gi gikk gjennom gjorde gjort gjør gjøre god godt grunn gå går gang gi gikk gjennom gjorde gjort gjør gjøre god godt grunn gå går
ha hadde ham han hans har hele helt henne hennes her hun hva hvor hvordan ha hadde ham han hans har hele helt henne hennes her hun
hvorfor
i ifølge igjen ikke ingen inn i ifølge igjen ikke ingen inn
ja jeg ja jeg
kamp kampen kan kl klart kom komme kommer kontakt kort kroner kunne kveld kamp kampen kan kl klart kom komme kommer kontakt kort kroner kunne kveld
kvinner
la laget land landet langt leder ligger like litt løpet lørdag la laget land landet langt leder ligger like litt løpet
man mandag mange mannen mars med meg mellom men mener menn mennesker mens mer man mange med meg mellom men mener mennesker mens mer mot mye må mål måtte
millioner minutter mot msci mye må mål måtte
ned neste noe noen nok norge norsk norske ntb ny nye nå når ned neste noe noen nok ny nye nå når
og også om onsdag opp opplyser oslo oss over og også om opp opplyser oss over
personer plass poeng politidistrikt politiet president prosent på personer plass poeng på
regjeringen runde rundt russland runde rundt
sa saken samme sammen samtidig satt se seg seks selv senere september ser sett sa saken samme sammen samtidig satt se seg seks selv senere ser sett
siden sier sin sine siste sitt skal skriver skulle slik som sted stedet stor siden sier sin sine siste sitt skal skriver skulle slik som sted stedet stor
store står sverige svært så søndag store står svært så
ta tatt tid tidligere til tilbake tillegg tirsdag to tok torsdag tre tror ta tatt tid tidligere til tilbake tillegg tok tror
tyskland
under usa ut uten utenfor under ut uten utenfor
vant var ved veldig vi videre viktig vil ville viser vår være vært vant var ved veldig vi videre viktig vil ville viser vår være vært