tokenizer
Étymologie
[modifier le wikicode]Étymologie manquante ou incomplète. Si vous la connaissez, vous pouvez l’ajouter en cliquant ici.
Nom commun
[modifier le wikicode]| Singulier | Pluriel |
|---|---|
| tokenizer \toʊ.kə.naɪ.zəɹ\ |
tokenizers \toʊ.kə.naɪ.zəɹz\ |
tokenizer
- (Informatique) Parseur en tokens. Par exemple cela permet de transformer un texte en plusieurs mots séparés par des espaces.
In the Unix-based world, there are two general tools which allow a user to write a natural language tokenizer: Lex (chap. 3 of Aho et al. 1986) and Awk (Aho 1988).
— (Syntactic Wordclass Tagging - Page 121, H. van Halteren - 1999)