Some tests fail in FreeBSD environment #102

yurivict · 2025-03-14T08:33:23Z

―――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――― test_white_space[\u3053\u308c\u306f \u534a\u89d2\u30b9\u30da\u30fc\u30b9\u3067\u3059- -2] ――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――
[gw1] freebsd14 -- Python 3.11.11 /usr/local/bin/python3.11

text = 'これは 半角スペースです', space = ' ', idx = 2

    @pytest.mark.parametrize("text,space,idx", WHITE_SPACE_TESTS)
    def test_white_space(text, space, idx):
>       tagger = Tagger()

test_basic.py:103: 
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

>   ???
E   RuntimeError: Unknown dictionary format, use a GenericTagger.

fugashi/fugashi.pyx:402: RuntimeError

 fugashi/tests/test_basic.py::test_white_space[\u3053\u308c\u306f \u534a\u89d2\u30b9\u30da\u30fc\u30b9\u3067\u3059- -2] ⨯                                                                                                                                        12% █▎        
[gw1] FAILED test_basic.py 


――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――― test_white_space[\t\u30bf\u30d6\u6587\u5b57\u3067\u59cb\u307e\u308b\u6587\u5b57\u5217-\t-0] ―――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――
[gw3] freebsd14 -- Python 3.11.11 /usr/local/bin/python3.11

text = '\tタブ文字で始まる文字列', space = '\t', idx = 0

    @pytest.mark.parametrize("text,space,idx", WHITE_SPACE_TESTS)
    def test_white_space(text, space, idx):
>       tagger = Tagger()

test_basic.py:103: 
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

>   ???
E   RuntimeError: Unknown dictionary format, use a GenericTagger.

fugashi/fugashi.pyx:402: RuntimeError


[gw3] FAILED test_basic.py 


―――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――― test_white_space[\u3053\u308c\u306f\n\t \u8907\u6570\u7a2e\u985e\u306e\u7a7a\u767d\u6587\u5b57\u3067\u3059-\n\t -2_0] ――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――
[gw2] freebsd14 -- Python 3.11.11 /usr/local/bin/python3.11

text = 'これは\n\t 複数種類の空白文字です', space = '\n\t ', idx = 2

    @pytest.mark.parametrize("text,space,idx", WHITE_SPACE_TESTS)
    def test_white_space(text, space, idx):
>       tagger = Tagger()

test_basic.py:103: 
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

>   ???
E   RuntimeError: Unknown dictionary format, use a GenericTagger.

fugashi/fugashi.pyx:402: RuntimeError

 fugashi/tests/test_basic.py::test_white_space[\u3053\u308c\u306f\n\t \u8907\u6570\u7a2e\u985e\u306e\u7a7a\u767d\u6587\u5b57\u3067\u3059-\n\t -2_0] ⨯                                                                                                            20% ██        
                                                                                                                                                                                                                                                                 16% █▋        


―――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――― test_tokens[\u3042\u306a\u305f\u306f\u65b0\u7c73\u306e\u9b54\u5973\u3002-saved0] ―――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――
[gw0] freebsd14 -- Python 3.11.11 /usr/local/bin/python3.11

text = 'あなたは新米の魔女。', saved = ['あなた', 'は', '新米', 'の', '魔女', '。']

    @pytest.mark.parametrize('text,saved', TOKENIZER_TESTS)
    def test_tokens(text, saved):
        # testing the token objects is tricky, so instead just check surfaces
        #TODO: maybe save serialized nodes to compare?
>       tagger = Tagger()

test_basic.py:50: 
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

>   ???
E   RuntimeError: Unknown dictionary format, use a GenericTagger.

fugashi/fugashi.pyx:402: RuntimeError

 fugashi/tests/test_basic.py::test_tokens[\u3042\u306a\u305f\u306f\u65b0\u7c73\u306e\u9b54\u5973\u3002-saved0] ⨯                                                                                                                                                 24% ██▌       
[gw0] FAILED test_basic.py 


―――――――――――――――――――――――――――――――――― test_tokens[\u30d1\u30fc\u30c8\u30ca\u30fc\u3067\u3042\u308b\u732b\u3068\u5171\u306b\u3001\u898b\u77e5\u3089\u306c\u753a\u3078\u3084\u3063\u3066\u304d\u305f\u3070\u304b\u308a\u3067\u3059\u3002-saved1] ―――――――――――――――――――――――――――――――――――
[gw1] freebsd14 -- Python 3.11.11 /usr/local/bin/python3.11

text = 'パートナーである猫と共に、見知らぬ町へやってきたばかりです。', saved = ['パートナー', 'で', 'ある', '猫', 'と', '共', ...]

    @pytest.mark.parametrize('text,saved', TOKENIZER_TESTS)
    def test_tokens(text, saved):
        # testing the token objects is tricky, so instead just check surfaces
        #TODO: maybe save serialized nodes to compare?
>       tagger = Tagger()

test_basic.py:50: 
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

>   ???
E   RuntimeError: Unknown dictionary format, use a GenericTagger.

fugashi/fugashi.pyx:402: RuntimeError

 fugashi/tests/test_basic.py::test_tokens[\u30d1\u30fc\u30c8\u30ca\u30fc\u3067\u3042\u308b\u732b\u3068\u5171\u306b\u3001\u898b\u77e5\u3089\u306c\u753a\u3078\u3084\u3063\u3066\u304d\u305f\u3070\u304b\u308a\u3067\u3059\u3002-saved1] ⨯                         28% ██▊       
[gw1] FAILED test_basic.py 


――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――― test_white_space[\u3053\u308c\u306f\t\u30bf\u30d6\u6587\u5b57\u3067\u3059-\t-2] ―――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――
[gw2] freebsd14 -- Python 3.11.11 /usr/local/bin/python3.11

text = 'これは\tタブ文字です', space = '\t', idx = 2

    @pytest.mark.parametrize("text,space,idx", WHITE_SPACE_TESTS)
    def test_white_space(text, space, idx):
>       tagger = Tagger()

test_basic.py:103: 
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

>   ???
E   RuntimeError: Unknown dictionary format, use a GenericTagger.

fugashi/fugashi.pyx:402: RuntimeError


[gw2] FAILED test_basic.py 


――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――― test_white_space[\u3053\u308c\u306f\n\u6539\u884c\u6587\u5b57\u3067\u3059-\n-2] ―――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――
[gw3] freebsd14 -- Python 3.11.11 /usr/local/bin/python3.11

text = 'これは\n改行文字です', space = '\n', idx = 2

    @pytest.mark.parametrize("text,space,idx", WHITE_SPACE_TESTS)
    def test_white_space(text, space, idx):
>       tagger = Tagger()

test_basic.py:103: 
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

>   ???
E   RuntimeError: Unknown dictionary format, use a GenericTagger.

fugashi/fugashi.pyx:402: RuntimeError

 fugashi/tests/test_basic.py::test_white_space[\u3053\u308c\u306f\n\u6539\u884c\u6587\u5b57\u3067\u3059-\n-2] ⨯                                                                                                                                                  36% ███▋      
                                                                                                                                                                                                                                                                 32% ███▎      


―――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――― test_white_space[\u3053\u308c\u306f\n\t \u8907\u6570\u7a2e\u985e\u306e\u7a7a\u767d\u6587\u5b57\u3067\u3059-\n\t -2_1] ――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――
[gw0] freebsd14 -- Python 3.11.11 /usr/local/bin/python3.11

text = 'これは\n\t 複数種類の空白文字です', space = '\n\t ', idx = 2

    @pytest.mark.parametrize("text,space,idx", WHITE_SPACE_TESTS)
    def test_white_space(text, space, idx):
>       tagger = Tagger()

test_basic.py:103: 
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

>   ???
E   RuntimeError: Unknown dictionary format, use a GenericTagger.

fugashi/fugashi.pyx:402: RuntimeError

 fugashi/tests/test_basic.py::test_white_space[\u3053\u308c\u306f\n\t \u8907\u6570\u7a2e\u985e\u306e\u7a7a\u767d\u6587\u5b57\u3067\u3059-\n\t -2_1] ⨯                                                                                                            40% ████      
[gw0] FAILED test_basic.py 


―――――――――――――――――――――――――――――――――――――――――――――――――――――――――― test_wakati[\u3059\u3082\u3082\u3082\u3082\u3082\u3082\u3082\u3082\u306e\u5185-\u3059\u3082\u3082 \u3082 \u3082\u3082 \u3082 \u3082\u3082 \u306e \u5185] ―――――――――――――――――――――――――――――――――――――――――――――――――――――――――――
[gw1] freebsd14 -- Python 3.11.11 /usr/local/bin/python3.11

text = 'すももももももももの内', wakati = 'すもも も もも も もも の 内'

    @pytest.mark.parametrize('text,wakati', WAKATI_TESTS)
    def test_wakati(text, wakati):
>       tagger = Tagger('-Owakati')

test_basic.py:43: 
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

>   ???
E   RuntimeError: Unknown dictionary format, use a GenericTagger.

fugashi/fugashi.pyx:402: RuntimeError

 fugashi/tests/test_basic.py::test_wakati[\u3059\u3082\u3082\u3082\u3082\u3082\u3082\u3082\u3082\u306e\u5185-\u3059\u3082\u3082 \u3082 \u3082\u3082 \u3082 \u3082\u3082 \u306e \u5185] ⨯                                                                         44% ████▌     
[gw1] FAILED test_basic.py 


―――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――― test_nbest[\u5916\u56fd\u4eba\u53c2\u653f\u6a29-\u5916\u56fd \u4eba\u53c2 \u653f\u6a29 \n\u5916\u56fd \u4eba \u53c2\u653f \u6a29] ――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――
[gw3] freebsd14 -- Python 3.11.11 /usr/local/bin/python3.11

text = '外国人参政権', saved = '外国 人参 政権 \n外国 人 参政 権'

    @pytest.mark.parametrize('text,saved', NBEST_TESTS)
    def test_nbest(text, saved):
>       tagger = Tagger('-Owakati')

test_basic.py:56: 
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

>   ???
E   RuntimeError: Unknown dictionary format, use a GenericTagger.

fugashi/fugashi.pyx:402: RuntimeError

 fugashi/tests/test_basic.py::test_nbest[\u5916\u56fd\u4eba\u53c2\u653f\u6a29-\u5916\u56fd \u4eba\u53c2 \u653f\u6a29 \n\u5916\u56fd \u4eba \u53c2\u653f \u6a29] ⨯                                                                                                48% ████▊     
[gw3] FAILED test_basic.py 


―――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――― test_wakati[\u65e5\u672c\u8a9e\u3067\u3059\u3088-\u65e5\u672c \u8a9e \u3067\u3059 \u3088] ――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――
[gw0] freebsd14 -- Python 3.11.11 /usr/local/bin/python3.11

text = '日本語ですよ', wakati = '日本 語 です よ'

    @pytest.mark.parametrize('text,wakati', WAKATI_TESTS)
    def test_wakati(text, wakati):
>       tagger = Tagger('-Owakati')

test_basic.py:43: 
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

>   ???
E   RuntimeError: Unknown dictionary format, use a GenericTagger.

fugashi/fugashi.pyx:402: RuntimeError

 fugashi/tests/test_basic.py::test_wakati[\u65e5\u672c\u8a9e\u3067\u3059\u3088-\u65e5\u672c \u8a9e \u3067\u3059 \u3088] ⨯                                                                                                                                        52% █████▎    
[gw0] FAILED test_basic.py 


―――――――― test_nbest_nodes[\u6771\u4eac\u90fd\u306e\u5927\u4eba\u6c17\u306a\u3044\u4e3b\u6750\u6599-\u6771\u4eac \u90fd \u306e \u5927 \u4eba\u6c17 \u306a\u3044 \u4e3b\u6750 \u6599 \n\u6771\u4eac \u90fd \u306e \u5927 \u4eba\u6c17 \u306a\u3044 \u4e3b \u6750\u6599] ―――――――――
[gw2] freebsd14 -- Python 3.11.11 /usr/local/bin/python3.11

text = '東京都の大人気ない主材料', saved = '東京 都 の 大 人気 ない 主材 料 \n東京 都 の 大 人気 ない 主 材料'

    @pytest.mark.parametrize('text,saved', NBEST_TESTS)
    def test_nbest_nodes(text, saved):
>       tagger = Tagger()

test_basic.py:61: 
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

>   ???
E   RuntimeError: Unknown dictionary format, use a GenericTagger.

fugashi/fugashi.pyx:402: RuntimeError

 fugashi/tests/test_basic.py::test_nbest_nodes[\u6771\u4eac\u90fd\u306e\u5927\u4eba\u6c17\u306a\u3044\u4e3b\u6750\u6599-\u6771\u4eac \u90fd \u306e \u5927 \u4eba\u6c17 \u306a\u3044 \u4e3b\u6750 \u6599 \n\u6771\u4eac \u90fd \u306e \u5927 \u4eba\u6c17 \u306a\u3044 \u4e3b \u6750\u6599] ⨯56% █████▋    


―――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――― test_accent[\u7a3b\u6751\u306b\u884c\u304d\u307e\u3057\u305f-accent0] ――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――
[gw3] freebsd14 -- Python 3.11.11 /usr/local/bin/python3.11

text = '稻村に行きました', accent = ['0,2', '*', '0', '*', '*']

    @pytest.mark.parametrize('text,accent', ACCENT_TESTS)
    def test_accent(text, accent):
        # This checks for correct handling of feature fields containing commas as reported in #13
>       tagger = Tagger()

test_basic.py:84: 
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

>   ???
E   RuntimeError: Unknown dictionary format, use a GenericTagger.

fugashi/fugashi.pyx:402: RuntimeError


[gw3] FAILED test_basic.py 


― test_nbest[\u6df1\u6d77\u9b5a\u306f\u3001\u6df1\u6d77\u306b\u751f\u606f\u3059\u308b\u9b5a\u985e\u306e\u7dcf\u79f0\u3002-\u6df1\u6d77 \u9b5a \u306f \u3001 \u6df1\u6d77 \u306b \u751f\u606f \u3059\u308b \u9b5a\u985e \u306e \u7dcf\u79f0 \u3002 \n\u6df1 \u6d77\u9b5a \u306f \u3001 \u6df1\u6d77 \u306b \u751f\u606f \u3059\u308b \u9b5a\u985e \u306e \u7dcf\u79f0 \u3002] ―
[gw1] freebsd14 -- Python 3.11.11 /usr/local/bin/python3.11

text = '深海魚は、深海に生息する魚類の総称。', saved = '深海 魚 は 、 深海 に 生息 する 魚類 の 総称 。 \n深 海魚 は 、 深海 に 生息 する 魚類 の 総称 。'

    @pytest.mark.parametrize('text,saved', NBEST_TESTS)
    def test_nbest(text, saved):
>       tagger = Tagger('-Owakati')

test_basic.py:56: 
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

>   ???
E   RuntimeError: Unknown dictionary format, use a GenericTagger.

fugashi/fugashi.pyx:402: RuntimeError

 fugashi/tests/test_basic.py::test_nbest[\u6df1\u6d77\u9b5a\u306f\u3001\u6df1\u6d77\u306b\u751f\u606f\u3059\u308b\u9b5a\u985e\u306e\u7dcf\u79f0\u3002-\u6df1\u6d77 \u9b5a \u306f \u3001 \u6df1\u6d77 \u306b \u751f\u606f \u3059\u308b \u9b5a\u985e \u306e \u7dcf\u79f0 \u3002 \                                                                                                                                                                                                                                                                 64% ██████▌   


――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――― test_pos[\u65e5\u672c\u8a9e-tags0] ――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――
[gw2] freebsd14 -- Python 3.11.11 /usr/local/bin/python3.11

text = '日本語', tags = ['名詞,固有名詞,地名,国', '名詞,普通名詞,一般,*']

    @pytest.mark.parametrize('text,tags', POS_TESTS)
    def test_pos(text, tags):
        # There should be a pos property when using the default tagger
>       tagger = Tagger()

test_basic.py:77: 
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

>   ???
E   RuntimeError: Unknown dictionary format, use a GenericTagger.

fugashi/fugashi.pyx:402: RuntimeError

 fugashi/tests/test_basic.py::test_pos[\u65e5\u672c\u8a9e-tags0] ⨯                                                                                                                                                                                               68% ██████▊   
[gw2] FAILED test_basic.py 


――――――――――― test_nbest[\u6771\u4eac\u90fd\u306e\u5927\u4eba\u6c17\u306a\u3044\u4e3b\u6750\u6599-\u6771\u4eac \u90fd \u306e \u5927 \u4eba\u6c17 \u306a\u3044 \u4e3b\u6750 \u6599 \n\u6771\u4eac \u90fd \u306e \u5927 \u4eba\u6c17 \u306a\u3044 \u4e3b \u6750\u6599] ――――――――――――
[gw1] freebsd14 -- Python 3.11.11 /usr/local/bin/python3.11

text = '東京都の大人気ない主材料', saved = '東京 都 の 大 人気 ない 主材 料 \n東京 都 の 大 人気 ない 主 材料'

    @pytest.mark.parametrize('text,saved', NBEST_TESTS)
    def test_nbest(text, saved):
>       tagger = Tagger('-Owakati')

test_basic.py:56: 
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

>   ???
E   RuntimeError: Unknown dictionary format, use a GenericTagger.

fugashi/fugashi.pyx:402: RuntimeError

 fugashi/tests/test_basic.py::test_nbest[\u6771\u4eac\u90fd\u306e\u5927\u4eba\u6c17\u306a\u3044\u4e3b\u6750\u6599-\u6771\u4eac \u90fd \u306e \u5927 \u4eba\u6c17 \u306a\u3044 \u4e3b\u6750 \u6599 \n\u6771\u4eac \u90fd \u306e \u5927 \u4eba\u6c17 \u306a\u3044 \u4e3b \u6750\u6599] ⨯72% ███████▎  ic.py 


――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――― test_nbest_nodes[\u5916\u56fd\u4eba\u53c2\u653f\u6a29-\u5916\u56fd \u4eba\u53c2 \u653f\u6a29 \n\u5916\u56fd \u4eba \u53c2\u653f \u6a29] ―――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――
[gw0] freebsd14 -- Python 3.11.11 /usr/local/bin/python3.11

text = '外国人参政権', saved = '外国 人参 政権 \n外国 人 参政 権'

    @pytest.mark.parametrize('text,saved', NBEST_TESTS)
    def test_nbest_nodes(text, saved):
>       tagger = Tagger()

test_basic.py:61: 
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

>   ???
E   RuntimeError: Unknown dictionary format, use a GenericTagger.

fugashi/fugashi.pyx:402: RuntimeError


[gw0] FAILED test_basic.py 


―――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――― test_clobber ―――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――
[gw3] freebsd14 -- Python 3.11.11 /usr/local/bin/python3.11

    def test_clobber():
        # Check that memory isn't clobbered by repeated parse calls
>       tagger = Tagger()

test_basic.py:94: 
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

>   ???
E   RuntimeError: Unknown dictionary format, use a GenericTagger.

fugashi/fugashi.pyx:402: RuntimeError

 fugashi/tests/test_basic.py::test_clobber ⨯                                                                                                                                                                                                                     80% ████████  
                                                                                                                                                                                                                                                                 76% ███████▋  
 fugashi/tests/test_ipadic.py::test_wakati[\u6df1\u6d77\u9b5a\u306f\u3001\u6df1\u6d77\u306b\u751f\u606f\u3059\u308b\u9b5a\u985e\u306e\u7dcf\u79f0\u3002-\u6df1\u6d77\u9b5a \u306f \u3001 \u6df1\u6d77 \u306b \u751f\u606f \u3059\u308b \u9b5a\u985e \u306e \u7dcf\u79f0 \u3002] ✓84% ████████▌ t_ipadic.py 

[gw3] PASSED test_ipadic.py 


― test_nbest_nodes[\u6df1\u6d77\u9b5a\u306f\u3001\u6df1\u6d77\u306b\u751f\u606f\u3059\u308b\u9b5a\u985e\u306e\u7dcf\u79f0\u3002-\u6df1\u6d77 \u9b5a \u306f \u3001 \u6df1\u6d77 \u306b \u751f\u606f \u3059\u308b \u9b5a\u985e \u306e \u7dcf\u79f0 \u3002 \n\u6df1 \u6d77\u9b5a \u306f \u3001 \u6df1\u6d77 \u306b \u751f\u606f \u3059\u308b \u9b5a\u985e \u306e \u7dcf\u79f0 \u3002] ―
[gw2] freebsd14 -- Python 3.11.11 /usr/local/bin/python3.11

text = '深海魚は、深海に生息する魚類の総称。', saved = '深海 魚 は 、 深海 に 生息 する 魚類 の 総称 。 \n深 海魚 は 、 深海 に 生息 する 魚類 の 総称 。'

    @pytest.mark.parametrize('text,saved', NBEST_TESTS)
    def test_nbest_nodes(text, saved):
>       tagger = Tagger()

test_basic.py:61: 
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

>   ???
E   RuntimeError: Unknown dictionary format, use a GenericTagger.

fugashi/fugashi.pyx:402: RuntimeError

 fugashi/tests/test_basic.py::test_nbest_nodes[\u6df1\u6d77\u9b5a\u306f\u3001\u6df1\u6d77\u306b\u751f\u606f\u3059\u308b\u9b5a\u985e\u306e\u7dcf\u79f0\u3002-\u6df1\u6d77 \u9b5a \u306f \u3001 \u6df1\u6d77 \u306b \u751f\u606f \u3059\u308b \u9b5a\u985e \u306e \u7dcf\u79f0 \u3002 \n\u6df1 \u6d77\u9b5a \u306f \u3001 \u6df1\u6d77 \u306b \u751f\u606f \u3059\u308b \u9b5a\u985e \u306e \u7dcf\u79f0 \u3002] ⨯92% █████████▎                                                                                                                  88% ████████▊ 


―――――――――――――― test_wakati[\u6df1\u6d77\u9b5a\u306f\u3001\u6df1\u6d77\u306b\u751f\u606f\u3059\u308b\u9b5a\u985e\u306e\u7dcf\u79f0\u3002-\u6df1\u6d77 \u9b5a \u306f \u3001 \u6df1\u6d77 \u306b \u751f\u606f \u3059\u308b \u9b5a\u985e \u306e \u7dcf\u79f0 \u3002] ――――――――――――――
[gw0] freebsd14 -- Python 3.11.11 /usr/local/bin/python3.11

text = '深海魚は、深海に生息する魚類の総称。', wakati = '深海 魚 は 、 深海 に 生息 する 魚類 の 総称 。'

    @pytest.mark.parametrize('text,wakati', WAKATI_TESTS)
    def test_wakati(text, wakati):
>       tagger = Tagger('-Owakati')

test_basic.py:43: 
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

>   ???
E   RuntimeError: Unknown dictionary format, use a GenericTagger.

fugashi/fugashi.pyx:402: RuntimeError

 fugashi/tests/test_basic.py::test_wakati[\u6df1\u6d77\u9b5a\u306f\u3001\u6df1\u6d77\u306b\u751f\u606f\u3059\u308b\u9b5a\u985e\u306e\u7dcf\u79f0\u3002-\u6df1\u6d77 \u9b5a \u306f \u3001 \u6df1\u6d77 \u306b \u751f\u606f \u3059\u308b \u9b5a\u985e \u306e \u7dcf\u79f0 \u3002] ⨯96% █████████▋t_basic.py 
 fugashi/tests/test_ipadic.py::test_wakati[\u3059\u3082\u3082\u3082\u3082\u3082\u3082\u3082\u3082\u306e\u5185-\u3059\u3082\u3082 \u3082 \u3082\u3082 \u3082 \u3082\u3082 \u306e \u5185] ✓                                                                       100% ██████████
[gw2] PASSED test_ipadic.py 

-------- coverage: platform freebsd14, python 3.11.11-final-0 --------
Name                                                                                                         Stmts   Miss  Cover
--------------------------------------------------------------------------------------------------------------------------------
/usr/ports/japanese/py-fugashi/work-py311/stage/usr/local/lib/python3.11/site-packages/fugashi/__init__.py       1      0   100%
test_basic.py                                                                                                   55     21    62%
test_ipadic.py                                                                                                   8      0   100%
test_nbest.py                                                                                                   36     29    19%
--------------------------------------------------------------------------------------------------------------------------------
TOTAL                                                                                                          100     50    50%


=========================================================================================================================== short test summary info ===========================================================================================================================
SKIPPED [1] test_nbest.py:10: This test requires too much data to run in CI.

Results (4.60s):
       4 passed
      20 failed
         - fugashi/tests/test_basic.py:101 test_white_space[\u3053\u308c\u306f \u534a\u89d2\u30b9\u30da\u30fc\u30b9\u3067\u3059- -2]
         - fugashi/tests/test_basic.py:101 test_white_space[\t\u30bf\u30d6\u6587\u5b57\u3067\u59cb\u307e\u308b\u6587\u5b57\u5217-\t-0]
         - fugashi/tests/test_basic.py:101 test_white_space[\u3053\u308c\u306f\n\t \u8907\u6570\u7a2e\u985e\u306e\u7a7a\u767d\u6587\u5b57\u3067\u3059-\n\t -2_0]
         - fugashi/tests/test_basic.py:46 test_tokens[\u3042\u306a\u305f\u306f\u65b0\u7c73\u306e\u9b54\u5973\u3002-saved0]
         - fugashi/tests/test_basic.py:46 test_tokens[\u30d1\u30fc\u30c8\u30ca\u30fc\u3067\u3042\u308b\u732b\u3068\u5171\u306b\u3001\u898b\u77e5\u3089\u306c\u753a\u3078\u3084\u3063\u3066\u304d\u305f\u3070\u304b\u308a\u3067\u3059\u3002-saved1]
         - fugashi/tests/test_basic.py:101 test_white_space[\u3053\u308c\u306f\t\u30bf\u30d6\u6587\u5b57\u3067\u3059-\t-2]
         - fugashi/tests/test_basic.py:101 test_white_space[\u3053\u308c\u306f\n\u6539\u884c\u6587\u5b57\u3067\u3059-\n-2]
         - fugashi/tests/test_basic.py:101 test_white_space[\u3053\u308c\u306f\n\t \u8907\u6570\u7a2e\u985e\u306e\u7a7a\u767d\u6587\u5b57\u3067\u3059-\n\t -2_1]
         - fugashi/tests/test_basic.py:41 test_wakati[\u3059\u3082\u3082\u3082\u3082\u3082\u3082\u3082\u3082\u306e\u5185-\u3059\u3082\u3082 \u3082 \u3082\u3082 \u3082 \u3082\u3082 \u306e \u5185]
         - fugashi/tests/test_basic.py:54 test_nbest[\u5916\u56fd\u4eba\u53c2\u653f\u6a29-\u5916\u56fd \u4eba\u53c2 \u653f\u6a29 \n\u5916\u56fd \u4eba \u53c2\u653f \u6a29]
         - fugashi/tests/test_basic.py:41 test_wakati[\u65e5\u672c\u8a9e\u3067\u3059\u3088-\u65e5\u672c \u8a9e \u3067\u3059 \u3088]
         - fugashi/tests/test_basic.py:59 test_nbest_nodes[\u6771\u4eac\u90fd\u306e\u5927\u4eba\u6c17\u306a\u3044\u4e3b\u6750\u6599-\u6771\u4eac \u90fd \u306e \u5927 \u4eba\u6c17 \u306a\u3044 \u4e3b\u6750 \u6599 \n\u6771\u4eac \u90fd \u306e \u5927 \u4eba\u6c17 \u306a\u3044 \u4e3b \u6750\u6599]
         - fugashi/tests/test_basic.py:81 test_accent[\u7a3b\u6751\u306b\u884c\u304d\u307e\u3057\u305f-accent0]
         - fugashi/tests/test_basic.py:54 test_nbest[\u6df1\u6d77\u9b5a\u306f\u3001\u6df1\u6d77\u306b\u751f\u606f\u3059\u308b\u9b5a\u985e\u306e\u7dcf\u79f0\u3002-\u6df1\u6d77 \u9b5a \u306f \u3001 \u6df1\u6d77 \u306b \u751f\u606f \u3059\u308b \u9b5a\u985e \u306e \u7dcf\u79f0 \u3002 \n\u6df1 \u6d77\u9b5a \u306f \u3001 \u6df1\u6d77 \u306b \u751f\u606f \u3059\u308b \u9b5a\u985e \u306e \u7dcf\u79f0 \u3002]
         - fugashi/tests/test_basic.py:74 test_pos[\u65e5\u672c\u8a9e-tags0]
         - fugashi/tests/test_basic.py:54 test_nbest[\u6771\u4eac\u90fd\u306e\u5927\u4eba\u6c17\u306a\u3044\u4e3b\u6750\u6599-\u6771\u4eac \u90fd \u306e \u5927 \u4eba\u6c17 \u306a\u3044 \u4e3b\u6750 \u6599 \n\u6771\u4eac \u90fd \u306e \u5927 \u4eba\u6c17 \u306a\u3044 \u4e3b \u6750\u6599]
         - fugashi/tests/test_basic.py:59 test_nbest_nodes[\u5916\u56fd\u4eba\u53c2\u653f\u6a29-\u5916\u56fd \u4eba\u53c2 \u653f\u6a29 \n\u5916\u56fd \u4eba \u53c2\u653f \u6a29]
         - fugashi/tests/test_basic.py:92 test_clobber
         - fugashi/tests/test_basic.py:59 test_nbest_nodes[\u6df1\u6d77\u9b5a\u306f\u3001\u6df1\u6d77\u306b\u751f\u606f\u3059\u308b\u9b5a\u985e\u306e\u7dcf\u79f0\u3002-\u6df1\u6d77 \u9b5a \u306f \u3001 \u6df1\u6d77 \u306b \u751f\u606f \u3059\u308b \u9b5a\u985e \u306e \u7dcf\u79f0 \u3002 \n\u6df1 \u6d77\u9b5a \u306f \u3001 \u6df1\u6d77 \u306b \u751f\u606f \u3059\u308b \u9b5a\u985e \u306e \u7dcf\u79f0 \u3002]
         - fugashi/tests/test_basic.py:41 test_wakati[\u6df1\u6d77\u9b5a\u306f\u3001\u6df1\u6d77\u306b\u751f\u606f\u3059\u308b\u9b5a\u985e\u306e\u7dcf\u79f0\u3002-\u6df1\u6d77 \u9b5a \u306f \u3001 \u6df1\u6d77 \u306b \u751f\u606f \u3059\u308b \u9b5a\u985e \u306e \u7dcf\u79f0 \u3002]
       1 skipped

Version: 1.4.0
Python-3.11
FreeBSD 14.2

The text was updated successfully, but these errors were encountered:

polm · 2025-03-14T13:32:26Z

All the errors are about issues with the dictionary format, which suggests that the dictionary required for tests is not installed. This error may also be related to that:

SKIPPED [1] test_nbest.py:10: This test requires too much data to run in CI.

Are you running this in some kind of CI environment?

yurivict · 2025-03-14T15:59:27Z

Are you running this in some kind of CI environment?

No, I am running tests on my local machine.

polm · 2025-03-15T13:07:35Z

Ah, nevermind about the CI error - that's a note I included in the tests and isn't relevant here.

I ran the tests again locally to check and they seem fine. I've never tested the library on FreeBSD, though I wouldn't expect that to cause issues. Here are some things that will help me diagnose the problem:

How did you install the library?
Did you install MeCab or dictionaries outside of Python?
What command did you use to run the tests?
Can you use the library normally, ignoring the tests?
If you can use the library normally, please run this code and share the output.

import fugashi
tt = fugashi.GenericTagger()
nodes = tt("日本語")
print(nodes[0].feature)

Sorry it's a lot of questions. If you can start by answering just 1 and 2 that may give me enough information.

polm changed the title ~~Some tests fail~~ Some tests fail in FreeBSD CI environment Mar 14, 2025

polm changed the title ~~Some tests fail in FreeBSD CI environment~~ Some tests fail in FreeBSD environment Mar 17, 2025

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Some tests fail in FreeBSD environment #102

Some tests fail in FreeBSD environment #102

yurivict commented Mar 14, 2025

polm commented Mar 14, 2025

yurivict commented Mar 14, 2025

polm commented Mar 15, 2025

Some tests fail in FreeBSD environment #102

Some tests fail in FreeBSD environment #102

Comments

yurivict commented Mar 14, 2025

polm commented Mar 14, 2025

yurivict commented Mar 14, 2025

polm commented Mar 15, 2025