Prezados,
Preciso de um tokenizer que quebre um texto nas vírgulas (se existirem) ou quebrar o texto em espaços em branco se o texto não tem vírgula.
Existe algum tokenizer que faz isso ou alguém sabe como posso implementar?
Exemplo:
input: foo bar, bar foo
output: foo bar, bar foo
input: foo bar bar foo
output: foo, bar, bar, foo