From 8328925e1f5a976808175aa95ece0c2027cff62c Mon Sep 17 00:00:00 2001 From: Ines Montani Date: Thu, 5 Jan 2017 18:13:30 +0100 Subject: [PATCH] Add newlines to long German text --- spacy/tests/de/tokenizer/test_text.py | 11 ++++++++--- 1 file changed, 8 insertions(+), 3 deletions(-) diff --git a/spacy/tests/de/tokenizer/test_text.py b/spacy/tests/de/tokenizer/test_text.py index a5cbd5383..84fa6f2a5 100644 --- a/spacy/tests/de/tokenizer/test_text.py +++ b/spacy/tests/de/tokenizer/test_text.py @@ -10,14 +10,19 @@ import pytest def test_tokenizer_handles_long_text(de_tokenizer): text = """Die Verwandlung -Als Gregor Samsa eines Morgens aus unruhigen Träumen erwachte, fand er sich in seinem Bett zu einem ungeheueren Ungeziefer verwandelt. +Als Gregor Samsa eines Morgens aus unruhigen Träumen erwachte, fand er sich in +seinem Bett zu einem ungeheueren Ungeziefer verwandelt. -Er lag auf seinem panzerartig harten Rücken und sah, wenn er den Kopf ein wenig hob, seinen gewölbten, braunen, von bogenförmigen Versteifungen geteilten Bauch, auf dessen Höhe sich die Bettdecke, zum gänzlichen Niedergleiten bereit, kaum noch erhalten konnte. Seine vielen, im Vergleich zu seinem sonstigen Umfang kläglich dünnen Beine flimmerten ihm hilflos vor den Augen. +Er lag auf seinem panzerartig harten Rücken und sah, wenn er den Kopf ein wenig +hob, seinen gewölbten, braunen, von bogenförmigen Versteifungen geteilten +Bauch, auf dessen Höhe sich die Bettdecke, zum gänzlichen Niedergleiten bereit, +kaum noch erhalten konnte. Seine vielen, im Vergleich zu seinem sonstigen +Umfang kläglich dünnen Beine flimmerten ihm hilflos vor den Augen. »Was ist mit mir geschehen?«, dachte er.""" tokens = de_tokenizer(text) - assert len(tokens) == 104 + assert len(tokens) == 109 @pytest.mark.parametrize('text,length', [