IWNLP Evaluation Results:

There have been multiple changes since the paper version:

Standalone results:

The delta in each cell is calculated with respect to 20150407_c_lowercase.

20150407_a
paper version
20150407_c_lowercase
corrected version
20151123_d20151226_a20161020_a20170501
IWNLP: TigerNouns0,7340,738
+0,4 %
0,748
+1,0 %
0,749
+1,1 %
0,758
+2,0 %
0,763
+2,5 %
Verbs0,8370,8370,897
+6,0 %
0,897
+6,0 %
0,917
+8,0 %
0,921
+8,4 %
Adjectives0,6330,636
+0,3 %
0,732
+9,6 %
0,751
+11,5 %
0,778
+14,2 %
0,775
+13,9 %
IWNLP: TüBa-D/ZNouns0,7210,7210,747
+2,6 %
0,747
+2,6 %
0,756
+3,5 %
0,761
+4,0 %
Verbs0,8090,81
+0,1 %
0,859
+4,9 %
0,86
+5,0 %
0,876
+6,6 %
0,879
+6,9 %
Adjectives0,5670,57
+0,3 %
0,662
+9,2 %
0,684
+11,4 %
0,71
+14,0 %
0,713
+14,3 %
IWNLP: HDTNouns0,6070,6070,627
+2,0 %
0,627
+2,0 %
0,63
+2,3 %
0,631
+2,4 %
Verbs0,8640,8640,924
+6,0 %
0,925
+6,1 %
0,939
+7,5 %
0,943
+7,9 %
Adjectives0,6130,627
+1,4 %
0,708
+8,1 %
0,715
+8,8 %
0,72
+9,3 %
0,71
+8,3 %
IWNLP + Keep: TigerNouns0,8940,898
+0,4 %
0,902
+0,4 %
0,903
+0,5 %
0,906
+0,8 %
0,907
+0,9 %
Verbs0,8540,8540,913
+5,9 %
0,913
+5,9 %
0,932
+7,8 %
0,935
+8,1 %
Adjectives0,6920,696
+0,4 %
0,772
+7,6 %
0,792
+9,6 %
0,818
+12,2 %
0,814
+11,8 %
IWNLP + Keep: TüBa-D/ZNouns0,8970,8970,918
+2,1 %
0,919
+2,2 %
0,921
+2,4 %
0,923
+2,6 %
Verbs0,8270,8270,876
+4,9 %
0,877
+5,0 %
0,891
+6,4 %
0,895
+6,8 %
Adjectives0,6500,653
+0,3 %
0,718
+6,5 %
0,74
+8,7 %
0,764
+11,1 %
0,766
+11,3 %
IWNLP + Keep: HDTNouns0,6470,6470,665
+1,8 %
0,665
+1,8 %
0,666
+1,9 %
0,666
+1,9 %
Verbs0,8820,8820,942
+6,0 %
0,943
+6,1 %
0,955
+7,3 %
0,958
+7,6 %
Adjectives0,6990,714
+1,5 %
0,775
+6,1 %
0,779
+6,5 %
0,78
+6,6 %
0,768
+5,4 %
Morphy: TigerNouns0,1960,1960,1960,1960,1960,196
Verbs0,7130,685
-2,8 %
0,692
+0,7 %
0,692
+0,7 %
0,692
+0,7 %
0,692
+0,7 %
Adjectives0,5310,521
-1,0 %
0,541
+2,0 %
0,541
+2,0 %
0,541
+2,0 %
0,541
+2,0 %
Morphy: TüBa-D/ZNouns0,1810,182
+0,1 %
0,185
+0,3 %
0,185
+0,3 %
0,185
+0,3 %
0,185
+0,3 %
Verbs0,6710,648
-2,3 %
0,656
+0,8 %
0,656
+0,8 %
0,656
+0,8 %
0,656
+0,8 %
Adjectives0,4900,478
-1,2 %
0,497
+1,9 %
0,497
+1,9 %
0,497
+1,9 %
0,497
+1,9 %
Morphy: HDTNouns0,1630,162
-0,1 %
0,166
+0,4 %
0,166
+0,4 %
0,166
+0,4 %
0,166
+0,4 %
Verbs0,6750,651
-2,4 %
0,657
+0,6 %
0,657
+0,6 %
0,657
+0,6 %
0,657
+0,6 %
Adjectives0,4750,442
-3,3 %
0,461
+1,9 %
0,461
+1,9 %
0,461
+1,9 %
0,461
+1,9 %
Morphy + Keep: TigerNouns0,8570,858
+0,1 %
0,8580,8580,8580,858
Verbs0,9620,934
-2,8 %
0,941
+0,7 %
0,941
+0,7 %
0,941
+0,7 %
0,941
+0,7 %
Adjectives0,7630,752
-1,1 %
0,773
+2,1 %
0,773
+2,1 %
0,773
+2,1 %
0,773
+2,1 %
Morphy + Keep: Tüba-D/ZNouns0,8600,861
+0,1 %
0,873
+1,2 %
0,873
+1,2 %
0,873
+1,2 %
0,873
+1,2 %
Verbs0,9160,893
-2,3 %
0,901
+0,8 %
0,901
+0,8 %
0,901
+0,8 %
0,901
+0,8 %
Adjectives0,7440,733
-1,1 %
0,753
+2,0 %
0,753
+2,0 %
0,753
+2,0 %
0,753
+2,0 %
Morphy + Keep: HDTNouns0,6190,618
-0,1 %
0,634
+1,6 %
0,634
+1,6 %
0,634
+1,6 %
0,634
+1,6 %
Verbs0,9630,939
-2,4 %
0,945
+0,6 %
0,945
+0,6 %
0,945
+0,6 %
0,945
+0,6 %
Adjectives0,7350,707
-2,8 %
0,724
+1,7 %
0,724
+1,7 %
0,724
+1,7 %
0,724
+1,7 %

Existing software:

20150407_a
paper version
20150407_c_lowercase
corrected version
20151123_d20151226_a20161020_a20170501
Mate Tools: TigerNouns------------
Verbs------------
Adjectives------------
Mate Tools: TüBa-D/ZNouns0,9260,938
+1,2 %
0,952
+1,4 %
0,952
+1,4 %
0,952
+1,4 %
0,952
+1,4 %
Verbs0,9270,928
+0,1 %
0,9280,9280,9280,928
Adjectives0,8520,86
+0,8 %
0,860,860,860,86
Mate Tools: HDTNouns0,6390,645
+0,6 %
0,662
+1,7 %
0,662
+1,7 %
0,662
+1,7 %
0,662
+1,7 %
Verbs0,9710,9710,9710,9710,9710,971
Adjectives0,7120,733
+2,1 %
0,7330,7330,7330,733
TreeTagger - TigerNouns0,8600,875
+1,5 %
0,8750,8750,8750,875
Verbs0,9740,9740,9740,9740,9740,974
Adjectives0,8670,868
+0,1 %
0,8680,8680,8680,868
TreeTagger - TüBa-D/ZNouns0,8480,853
+0,5 %
0,865
+1,2 %
0,865
+1,2 %
0,865
+1,2 %
0,865
+1,2 %
Verbs0,9300,931
+0,1 %
0,9310,9310,9310,931
Adjectives0,8320,833
+0,1 %
0,8330,8330,8330,833
TreeTagger - HDTNouns0,6110,612
+0,1 %
0,628
+1,6 %
0,628
+1,6 %
0,628
+1,6 %
0,628
+1,6 %
Verbs0,9770,9770,9770,9770,9770,977
Adjectives0,6870,701
+1,4 %
0,7010,7010,7010,701

Improving existing software:

20150407_a
paper version
20150407_c_lowercase
corrected version
20151123_d20151226_a20161020_a20170501
IWNLP + Mate Tools: TigerNouns------------
Verbs------------
Adjectives------------
IWNLP + Mate Tools: TüBa-D/ZNouns0,9430,951
+0,8 %
0,968
+1,7 %
0,968
+1,7 %
0,969
+1,8 %
0,969
+1,8 %
Verbs0,9290,93
+0,1 %
0,943
+1,3 %
0,943
+1,3 %
0,944
+1,4 %
0,944
+1,4 %
Adjectives0,8410,852
+1,1 %
0,861
+0,9 %
0,865
+1,3 %
0,864
+1,2 %
0,864
+1,2 %
IWNLP + Mate Tools: HDTNouns0,6530,656
+0,3 %
0,674
+1,8 %
0,674
+1,8 %
0,674
+1,8 %
0,674
+1,8 %
Verbs0,9760,9760,991
+1,5 %
0,991
+1,5 %
0,991
+1,5 %
0,992
+1,6 %
Adjectives0,7510,774
+2,3 %
0,778
+0,4 %
0,779
+0,5 %
0,768
-0,6 %
0,768
-0,6 %
Morphy + Mate Tools: TigerNouns------------
Verbs------------
Adjectives------------
Morphy + Mate Tools: TüBa-D/ZNouns0,9180,933
+1,5 %
0,947
+1,4 %
0,947
+1,4 %
0,947
+1,4 %
0,947
+1,4 %
Verbs0,9320,933
+0,1 %
0,935
+0,2 %
0,935
+0,2 %
0,935
+0,2 %
0,935
+0,2 %
Adjectives0,8370,865
+2,8 %
0,866
+0,1 %
0,866
+0,1 %
0,866
+0,1 %
0,866
+0,1 %
Morphy + Mate ToolsNouns0,6270,637
+1,0 %
0,654
+1,7 %
0,654
+1,7 %
0,654
+1,7 %
0,654
+1,7 %
Verbs0,9740,9740,975
+0,1 %
0,975
+0,1 %
0,975
+0,1 %
0,975
+0,1 %
Adjectives0,7440,74
-0,4 %
0,743
+0,3 %
0,743
+0,3 %
0,743
+0,3 %
0,743
+0,3 %
IWNLP + TreeTagger: TigerNouns0,8880,903
+1,5 %
0,904
+0,1 %
0,904
+0,1 %
0,905
+0,2 %
0,905
+0,2 %
Verbs0,9690,97
+0,1 %
0,987
+1,7 %
0,987
+1,7 %
0,987
+1,7 %
0,988
+1,8 %
Adjectives0,8690,873
+0,4 %
0,902
+2,9 %
0,906
+3,3 %
0,906
+3,3 %
0,905
+3,2 %
IWNLP + TreeTagger: TüBa-D/ZNouns0,8790,883
+0,4 %
0,899
+1,6 %
0,899
+1,6 %
0,899
+1,6 %
0,9
+1,7 %
Verbs0,9270,928
+0,1 %
0,945
+1,7 %
0,945
+1,7 %
0,946
+1,8 %
0,946
+1,8 %
Adjectives0,7950,799
+0,4 %
0,823
+2,4 %
0,828
+2,9 %
0,838
+3,9 %
0,838
+3,9 %
IWNLP + TreeTagger: HDTNouns0,6410,6410,659
+1,8 %
0,659
+1,8 %
0,659
+1,8 %
0,659
+1,8 %
Verbs0,9730,9730,99
+1,7 %
0,99
+1,7 %
0,99
+1,7 %
0,99
+1,7 %
Adjectives0,7240,741
+1,7 %
0,771
+3,0 %
0,771
+3,0 %
0,762
+2,1 %
0,761
+2,0 %
Morphy + TreeTagger: TigerNouns0,8590,874
+1,5 %
0,8740,8740,8740,874
Verbs0,9700,968
-0,2 %
0,975
+0,7 %
0,975
+0,7 %
0,975
+0,7 %
0,975
+0,7 %
Adjectives0,8100,834
+2,4 %
0,847
+1,3 %
0,847
+1,3 %
0,847
+1,3 %
0,847
+1,3 %
Morphy + TreeTagger: TüBa-D/ZNouns0,8430,853
+1,0 %
0,865
+1,2 %
0,865
+1,2 %
0,865
+1,2 %
0,865
+1,2 %
Verbs0,9260,925
-0,1 %
0,933
+0,8 %
0,933
+0,8 %
0,933
+0,8 %
0,933
+0,8 %
Adjectives0,7870,809
+2,2 %
0,819
+1,0 %
0,819
+1,0 %
0,819
+1,0 %
0,819
+1,0 %
Morphy + TreeTagger: HDTNouns0,6020,608
+0,6 %
0,624
+1,6 %
0,624
+1,6 %
0,624
+1,6 %
0,624
+1,6 %
Verbs0,9680,967
-0,1 %
0,972
+0,5 %
0,972
+0,5 %
0,972
+0,5 %
0,972
+0,5 %
Adjectives0,7130,701
-1,2 %
0,716
+1,5 %
0,716
+1,5 %
0,716
+1,5 %
0,716
+1,5 %