spaCy 意大利标注器和词形还原器的性能随着新版本v3.4的发布而下降,

toiithl6  于 5个月前  发布在  其他
关注(0)|答案(2)|浏览(76)

你好,
我最近将spaCy的预训练模型从v3.2升级到了3.4,但我发现对于意大利语和西班牙语,词性标注器和词形还原器的性能显著下降。我准备了一个表格来展示一些意大利语的例子,以及预期的输出(词元,词性)
| 文本 | 分析的单词 | 词元检测 | 词元预期 | 词性检测 | 词性预期 |
| ------------ | ------------ | ------------ | ------------ | ------------ | ------------ |
| efficiente e cortesissima. | cortesissima | cortesissima | cortese | ADJ | ADJ |
| "Voglio disabbonarmi Newsletter | | | | | |
| Non voglio che mi mandate le vostre email" | Voglio | Voglio | volere | PRON | VERB |
| "Il tracking dell' ordine | | | | | |
| non è ancora arrivato ed inoltre non riesco a tracciarlo. " | tracciarlo | tracciare lo | tracciare | VERB | VERB |
| | Potete | Potete | potere | AUX | VERB |
| Negozio pulito e ben fornito Cassiera gentile | Cassiera | Cassiera | cassiere | PROPN | NOUN |
| Ho il buono bebe come posso utilizzarlo ed entro quando? | come | come | come | ADP | ADV |
| | posso | potere | potere | AUX | VERB |
| | utilizzarlo | utilizzare lo | utilizzare | VERB | VERB |
| "I: Il tuo ordine è ancora disponibile | | | | | |
| Spedizione gratis" | Spedizione | Spedizione | spedizione | NOUN | NOUN |
| | gratis | gratis | gratis | ADV | ADJ |
| Aprite altri centri Kiabi verso il centro di [city].. | Aprite | Aprite | aprire | VERB | VERB |
| | altri | altro | altro | DET | ADJ |
| che ora chiudete | che | che | che | PRON | DET |
| | chiudete | chiudetere | chiudere | VERB

bjp0bcyl

bjp0bcyl1#

西班牙语v3.2.0-v3.4.0管道的输出应该非常相似,因为这些管道使用了相同的基于规则的词形还原器,并且设置相对相似。如果西班牙语还有其他问题,请打开一个单独的问题。
感谢关于意大利语的反馈,这与#10953有关,其中还包括一些额外的意大利语示例:#10953(评论)
对于v3.3.0,我们主要将查找词形还原器切换到新的可训练词形还原器,但可训练词形还原器会犯与查找词形还原器非常不同的错误,这归结为在#3052中描述的统计组件的期望。
如果您想切换回v3.3查找词形还原器:https://spacy.io/usage/v3-3#pipeline-updates,https://spacy.io/models#design-modify

f3temu5u

f3temu5u2#

感谢您的回复!
我将切换回v3.3查找词形还原器,并为西班牙语示例打开一个新问题,我可能还有一些其他法语示例。

相关问题