tokenize

Définition, traduction, prononciation, anagramme et synonyme sur le dictionnaire libre Wiktionnaire.

Anglais[modifier le wikicode]

Étymologie[modifier le wikicode]

Dérivé de token, avec le suffixe -ize.

Verbe [modifier le wikicode]

Temps Forme
Infinitif to tokenize
\toʊ.kə.naɪz\
Présent simple,
3e pers. sing. 		tokenizes
\toʊ.kə.naɪz.ɪz\
Prétérit tokenized
\toʊ.kə.naɪzd\
Participe passé tokenized
\toʊ.kə.naɪzd\
Participe présent tokenizing
\toʊ.kə.naɪz.ɪŋ\
voir conjugaison anglaise

tokenize

  1. (Informatique) Parser un texte composé de tokens.
    • Tokenizing is the process of converting a string into a list of substrings, known as tokens. — (Ben Stephenson, The Python Workbook (2nde édition), Springer, 2019, p. 90)

Variantes[modifier le wikicode]

Apparentés étymologiques[modifier le wikicode]

Références[modifier le wikicode]

Récupérée de « https://fr.wiktionary.org/w/index.php?title=tokenize&oldid=28592517 »