Qual a melhor forma de parsear CSV gigantescos

Boa Tarde galera,

Estou precisando criar um processo para parsear vários logs CSVs, gerados de hora em hora, com tamanho médio de 500Mb cada…

Encontrei algumas bibliotecas, open CSV da apache, JCSV , ou fazer do jeito convencional mesmo com bufferedReader.readLine()…

Qual forma vcs acreditam ser melhor?

Obrigado

Você precisa parsear o log mas usar apenas algumas informações dele, certo?

Dependendo, é melhor você escrever um script Perl ou Python ou um simples grep que já filtre a informação desejada antes de alimentar seu programa Java.

Olá.

Se a biblioteca de leitura de CSV que você usar receber um Reader (como o JCSV por exemplo), você pode criar um BufferedReader e passar para a biblioteca.
Dessa forma você pode configurar o BufferedReader de uma maneira eficiente pra você.

Falou.