Qual a melhor forma de parsear CSV gigantescos

2 respostas
T

Boa Tarde galera,

Estou precisando criar um processo para parsear vários logs CSVs, gerados de hora em hora, com tamanho médio de 500Mb cada…

Encontrei algumas bibliotecas, open CSV da apache, JCSV , ou fazer do jeito convencional mesmo com bufferedReader.readLine()

Qual forma vcs acreditam ser melhor?

Obrigado

2 Respostas

E

Você precisa parsear o log mas usar apenas algumas informações dele, certo?

Dependendo, é melhor você escrever um script Perl ou Python ou um simples grep que já filtre a informação desejada antes de alimentar seu programa Java.

marvinla

Olá.

Se a biblioteca de leitura de CSV que você usar receber um Reader (como o JCSV por exemplo), você pode criar um BufferedReader e passar para a biblioteca.
Dessa forma você pode configurar o BufferedReader de uma maneira eficiente pra você.

Falou.

Criado 10 de outubro de 2012
Ultima resposta 10 de out. de 2012
Respostas 2
Participantes 3