[Dúvida] Tokenizer

Olha… eu sei que funciona parecido com o split da String, mas tem mais funções…

Um exemplo:

StringTokenizer t = new StringTokenizer("Diego Inácio Goergen", " ");
            
	    while (t.hasMoreTokens()){
		  String ret = t.nextToken();
		  System.out.println( ret );
	    }

Retirado do JavaDoc do StringTokenizer:

/**
...
 * StringTokenizer is a legacy class that is retained for
 * compatibility reasons although its use is discouraged in new code. It is
 * recommended that anyone seeking this functionality use the split
 * method of String or the java.util.regex package instead.
...
*/

Token = ficha (como as as de pôquer, já que não existem mais fichas de telefone).
“Token” é um jargão que se usa para denotar uma parte de uma cadeia de caracteres (como uma palavra, um símbolo ou um número).
“Tokenizer” seria algo que separa uma cadeia de caracteres em “tokens”.

ou seja

trabalhar por caracteres e não por palavras inteiras?

Na verdade não são caracteres, e sim outras Strings, menores…

Um tokenizer é algo que quebra uma string em palavras (se você definir o que é uma palavra para ele )

É quando você tem uma string e a quebra em palavras. Por exemplo: temos a frase “O Brasil é um país de todos”, sendo essa frase armazenada numa String. Agora queremos quebrar essa frase em tokens, então ficaria um array de strings em que cada posição ficaria um token: string[0] = O, string[1] = Brasil, string[2]= é e assim vai…

não sei se fui claro, mas qualquer coisa de uma olhada nessa página: http://pt.wikipedia.org/wiki/Token