Pessoal,
Estou precisando fazer um programa que faz busca em arquivos textos, só que este arquivos (são vários ) tem tamanhos que varia de 500GB a 700GB.
Pensei em transformar estes arquivos em XML importar para um banco xml e trabalhar com ele. via o bd XML, mas não funcionou!!!
O banco que testei foi o eXist, mas ele não importa os arquivos devido ao tamanho, tentei quebrar esses arquivos em vários outros arquivos mas ai ele trava (quando estou inserindo no bd eXist) devido a quantidade de arquivos (uma arquivo de 500G gerou mais de 500.000 arquivos xml quebrando ele)
Colocar em um banco de dados relacional é não tem como pois a minha tabela ia ter somente campos gigantescos.
Alguém tem alguma dica ?
Obrigado,
Marcelo Gomes
Mas esses arquivos estão no formato XML? Se estiverem, vc pode usar o JColtrane. No site vc encontra um tutorial e na Mundo Java desse mês também…
Eles não estão mas consigo transformar … vou olhar sua dica, valeu
Pelo que li na documentação ele não vai me ajudar muito, pois para fazer uma busca vou ter que informar o nome do arquivo e no meu caso este nome do arquivo vai ser algo em torno de 50 a 100 arquivos (lembrando que eles vão ter aproximada 500 MB cada).
Se colocar tudo em um unico arquivo não vou ter memória para abrir esses arquivos.
Alguma outra dica ???
obrigado,
Marcelo Gomes
[quote=marcelogomesrp]Pessoal,
Estou precisando fazer um programa que faz busca em arquivos textos, só que este arquivos (são vários ) tem tamanhos que varia de 500GB a 700GB.
[/quote]
Isso é meio chato, porque obviamente você não pode pôr esse arquivo de 700 Gb inteiro na memória, só para buscar algo. É necessário indexá-lo antes. Procure em:
http://lucene.apache.org/