tokenizer
Anglais[modifier le wikicode]
Étymologie[modifier le wikicode]
Étymologie manquante ou incomplète. Si vous la connaissez, vous pouvez l’ajouter en cliquant ici.
Nom commun [modifier le wikicode]
| Singulier | Pluriel |
|---|---|
| tokenizer \toʊ.kə.naɪ.zəɹ\ |
tokenizers \toʊ.kə.naɪ.zəɹz\ |
tokenizer
- (Informatique) Parseur en tokens. Par exemple cela permet de transformer un texte en plusieurs mots séparés par des espaces.
- In the Unix-based world, there are two general tools which allow a user to write a natural language tokenizer: Lex (chap. 3 of Aho et al. 1986) and Awk (Aho 1988). — (Syntactic Wordclass Tagging - Page 121, H. van Halteren - 1999)