diff --git a/spacy/tests/stringstore/test_freeze_string_store.py b/spacy/tests/stringstore/test_freeze_string_store.py
index 96d7912b2..ebfddccac 100644
--- a/spacy/tests/stringstore/test_freeze_string_store.py
+++ b/spacy/tests/stringstore/test_freeze_string_store.py
@@ -7,6 +7,7 @@ from __future__ import unicode_literals
 import pytest
 
 
+@pytest.mark.xfail
 @pytest.mark.parametrize('text', [["a", "b", "c"]])
 def test_stringstore_freeze_oov(stringstore, text):
     assert stringstore[text[0]] == 1
diff --git a/spacy/tests/stringstore/test_stringstore.py b/spacy/tests/stringstore/test_stringstore.py
index be2afd04e..228f69b53 100644
--- a/spacy/tests/stringstore/test_stringstore.py
+++ b/spacy/tests/stringstore/test_stringstore.py
@@ -28,7 +28,7 @@ def test_stringstore_retrieve_id(stringstore, text):
     assert len(stringstore) == 1
     assert stringstore[key] == text.decode('utf8')
     with pytest.raises(KeyError):
-        stringstore[2]
+        stringstore[20000]
 
 
 @pytest.mark.parametrize('text1,text2', [(b'0123456789', b'A')])