Add tokenizer tests for German

spacy/tests/de/conftest.py

@@ -0,0 +1,11 @@
+# coding: utf-8
+from __future__ import unicode_literals
+
+import pytest
+
+from ...de import German
+
+
+@pytest.fixture
+def de_tokenizer():
+    return German.Defaults.create_tokenizer()

spacy/tests/de/tokenizer/test_exceptions.py

@@ -0,0 +1,27 @@
+# coding: utf-8
+"""Test that tokenizer exceptions and emoticons are handles correctly."""
+
+
+from __future__ import unicode_literals
+
+import pytest
+
+
+@pytest.mark.parametrize('text', ["auf'm", "du's", "über'm", "wir's"])
+def test_tokenizer_splits_contractions(de_tokenizer, text):
+    tokens = de_tokenizer(text)
+    assert len(tokens) == 2
+
+
+@pytest.mark.parametrize('text', ["z.B.", "d.h.", "Jan.", "Dez.", "Chr."])
+def test_tokenizer_handles_abbr(de_tokenizer, text):
+    tokens = de_tokenizer(text)
+    assert len(tokens) == 1
+
+
+def test_tokenizer_handles_exc_in_text(de_tokenizer):
+    text = "Ich bin z.Zt. im Urlaub."
+    tokens = de_tokenizer(text)
+    assert len(tokens) == 6
+    assert tokens[2].text == "z.Zt."
+    assert tokens[2].lemma_ == "zur Zeit"

spacy/tests/de/tokenizer/test_prefix_suffix_infix.py

@@ -0,0 +1,116 @@
+# coding: utf-8
+"""Test that tokenizer prefixes, suffixes and infixes are handled correctly."""
+
+
+from __future__ import unicode_literals
+
+import pytest
+
+
+@pytest.mark.parametrize('text', ["(unter)"])
+def test_tokenizer_splits_no_special(de_tokenizer, text):
+    tokens = de_tokenizer(text)
+    assert len(tokens) == 3
+
+
+@pytest.mark.parametrize('text', ["unter'm"])
+def test_tokenizer_splits_no_punct(de_tokenizer, text):
+    tokens = de_tokenizer(text)
+    assert len(tokens) == 2
+
+
+@pytest.mark.parametrize('text', ["(unter'm"])
+def test_tokenizer_splits_prefix_punct(de_tokenizer, text):
+    tokens = de_tokenizer(text)
+    assert len(tokens) == 3
+
+
+@pytest.mark.parametrize('text', ["unter'm)"])
+def test_tokenizer_splits_suffix_punct(de_tokenizer, text):
+    tokens = de_tokenizer(text)
+    assert len(tokens) == 3
+
+
+@pytest.mark.parametrize('text', ["(unter'm)"])
+def test_tokenizer_splits_even_wrap(de_tokenizer, text):
+    tokens = de_tokenizer(text)
+    assert len(tokens) == 4
+
+
+@pytest.mark.parametrize('text', ["(unter'm?)"])
+def test_tokenizer_splits_uneven_wrap(de_tokenizer, text):
+    tokens = de_tokenizer(text)
+    assert len(tokens) == 5
+
+
+@pytest.mark.parametrize('text,length', [("z.B.", 1), ("zb.", 2), ("(z.B.", 2)])
+def test_tokenizer_splits_prefix_interact(de_tokenizer, text, length):
+    tokens = de_tokenizer(text)
+    assert len(tokens) == length
+
+
+@pytest.mark.parametrize('text', ["z.B.)"])
+def test_tokenizer_splits_suffix_interact(de_tokenizer, text):
+    tokens = de_tokenizer(text)
+    assert len(tokens) == 2
+
+
+@pytest.mark.parametrize('text', ["(z.B.)"])
+def test_tokenizer_splits_even_wrap_interact(de_tokenizer, text):
+    tokens = de_tokenizer(text)
+    assert len(tokens) == 3
+
+
+@pytest.mark.parametrize('text', ["(z.B.?)"])
+def test_tokenizer_splits_uneven_wrap_interact(de_tokenizer, text):
+    tokens = de_tokenizer(text)
+    assert len(tokens) == 4
+
+
+@pytest.mark.parametrize('text', ["blau-rot"])
+def test_tokenizer_splits_hyphens(de_tokenizer, text):
+    tokens = de_tokenizer(text)
+    assert len(tokens) == 3
+
+
+@pytest.mark.parametrize('text', ["0.1-13.5", "0.0-0.1", "103.27-300"])
+def test_tokenizer_splits_numeric_range(de_tokenizer, text):
+    tokens = de_tokenizer(text)
+    assert len(tokens) == 3
+
+
+@pytest.mark.parametrize('text', ["blau.Rot", "Hallo.Welt"])
+def test_tokenizer_splits_period_infix(de_tokenizer, text):
+    tokens = de_tokenizer(text)
+    assert len(tokens) == 3
+
+
+@pytest.mark.parametrize('text', ["Hallo,Welt", "eins,zwei"])
+def test_tokenizer_splits_comma_infix(de_tokenizer, text):
+    tokens = de_tokenizer(text)
+    assert len(tokens) == 3
+    assert tokens[0].text == text.split(",")[0]
+    assert tokens[1].text == ","
+    assert tokens[2].text == text.split(",")[1]
+
+
+@pytest.mark.parametrize('text', ["blau...Rot", "blau...rot"])
+def test_tokenizer_splits_ellipsis_infix(de_tokenizer, text):
+    tokens = de_tokenizer(text)
+    assert len(tokens) == 3
+
+
+def test_tokenizer_splits_double_hyphen_infix(de_tokenizer):
+    tokens = de_tokenizer("Viele Regeln--wie die Bindestrich-Regeln--sind kompliziert.")
+    assert len(tokens) == 12
+    assert tokens[0].text == "Viele"
+    assert tokens[1].text == "Regeln"
+    assert tokens[2].text == "--"
+    assert tokens[3].text == "wie"
+    assert tokens[4].text == "die"
+    assert tokens[5].text == "Bindestrich"
+    assert tokens[6].text == "-"
+    assert tokens[7].text == "Regeln"
+    assert tokens[8].text == "--"
+    assert tokens[9].text == "sind"
+    assert tokens[10].text == "kompliziert"

spacy/tests/de/tokenizer/test_text.py

@@ -0,0 +1,40 @@
+# coding: utf-8
+"""Test that longer and mixed texts are tokenized correctly."""
+
+
+from __future__ import unicode_literals
+
+import pytest
+
+
+def test_tokenizer_handles_long_text(de_tokenizer):
+    text = """Die Verwandlung
+
+Als Gregor Samsa eines Morgens aus unruhigen Träumen erwachte, fand er sich in seinem Bett zu einem ungeheueren Ungeziefer verwandelt.
+
+Er lag auf seinem panzerartig harten Rücken und sah, wenn er den Kopf ein wenig hob, seinen gewölbten, braunen, von bogenförmigen Versteifungen geteilten Bauch, auf dessen Höhe sich die Bettdecke, zum gänzlichen Niedergleiten bereit, kaum noch erhalten konnte. Seine vielen, im Vergleich zu seinem sonstigen Umfang kläglich dünnen Beine flimmerten ihm hilflos vor den Augen.
+
+»Was ist mit mir geschehen?«, dachte er."""
+
+    tokens = de_tokenizer(text)
+    assert len(tokens) == 104
+
+
+@pytest.mark.parametrize('text,length', [
+    ("Donaudampfschifffahrtsgesellschaftskapitänsanwärterposten", 1),
+    ("Rindfleischetikettierungsüberwachungsaufgabenübertragungsgesetz", 1),
+    ("Kraftfahrzeug-Haftpflichtversicherung", 3),
+    ("Vakuum-Mittelfrequenz-Induktionsofen", 5)
+    ])
+def test_tokenizer_handles_long_words(de_tokenizer, text, length):
+    tokens = de_tokenizer(text)
+    assert len(tokens) == length
+
+
+@pytest.mark.parametrize('text,length', [
+    ("»Was ist mit mir geschehen?«, dachte er.", 12),
+    ("“Dies frühzeitige Aufstehen”, dachte er, “macht einen ganz blödsinnig. ", 15)
+    ])
+def test_tokenizer_handles_examples(de_tokenizer, text, length):
+    tokens = de_tokenizer(text)
+    assert len(tokens) == length