problema trabalhando com milhares de arquivos

GUJ Ranger Membro desde: 21/07/2005 08:51:27 Mensagens: 807 Offline

Bom..

Conversei sobre esse problema com o cara de fala rápida mais f%$# que conheço, e ele me deu as seguintes soluções:

- Obviamente dividir as imagens em várias pastas;
- Efetuar testes com outras versões do Apache caso não esteja com a última;
- Fazer raid do disco;
- Verificar o file system, alguns file systems trabalham melhor com imagens grandes, outros melhor com pequenas etc.
- Contratar alguma empresa de CDN.

JavaChild Membro desde: 27/02/2007 18:29:37 Mensagens: 119 Offline

joaosouza wrote:Olá maschiojv,

Cara a estrutura de diretórios que usamos aqui é bem simples, fica no máximo em 4 a 5 níveis e não chega a ter 10 arquivos em cada nível...

Uma pergunta, esse disco de 1 Tera que você disse ter é um disco local no server ou um storage com uma LUN de 1 Tera ??

Aqui, por exemplo, temos um disco com 1 tera, mas quebramos ele em várias Luns de 250 GB, por exemplo. Com isso voce ganha em disponibilidade pq se um destes discos cair vc não perde tudo e indisponibiliza o sistema, e por outro lado você tem mais performance pois como os discos são menores a indexação é melhor...

Espero que tenha ajudado.

são 4 HDs, um pro sistema operacional e os aplicativos, um para as imagens e mais dois que fazem raid 1 dos 2 primeiros. isso mata todos os slots, não tem como plugar mais HDs nesse servidor...

JavaChild Membro desde: 27/02/2007 18:29:37 Mensagens: 119 Offline

deniswsrosa wrote:Bom..

Conversei sobre esse problema com o cara de fala rápida mais f%$# que conheço, e ele me deu as seguintes soluções:

- Obviamente dividir as imagens em várias pastas;
- Efetuar testes com outras versões do Apache caso não esteja com a última;
- Fazer raid do disco;
- Verificar o file system, alguns file systems trabalham melhor com imagens grandes, outros melhor com pequenas etc.
- Contratar alguma empresa de CDN.

deniswsrosa , valeu pelo esforço e manda um fuckyou pro cara f%$#, mesmo ele dando uma boa resposta

mas acontece que:
- as imagens já está divididas em várias pastas;
- vou ver isso, mas não acredito que o problema seja expecífico do apache, já que até se dar um ls na pasta o servidor cai;
- o maudito do raid é que está me impedindo de colocar mais HDs e dividir o problema, já que todos os slots estão sendo ocupados;
- verificar o filesystem pode ser uma boa, contratamos um consultor linux que sugeriu fazer essa troca e analizar qual vai ser o mais adequado, tomara que isso resolva;
- sim sim, quando o dinheiro não é problema não ha problemas

GUJ Ranger Membro desde: 21/07/2005 08:51:27 Mensagens: 807 Offline

maschiojv wrote: ...

Opa! apenas complementando o tópico, hoje eu topei com o Pomegranate (https://github.com/macan/Pomegranate/wiki), e ele talves possa ser de grande ajuda para o seu problema, confira o post a seguir:
http://highscalability.com/blog/2010/8/30/pomegranate-storing-billions-and-billions-of-tiny-little-fil.html

Tenho uma idéia, mas não sei se é uma boa.

Seria usar o HDFS do projeto Hadoop da Apache para armazenar as imagens em SequenceFiles, e caso fique lenta a busca via MapReduce, usar Memcached para ter as imagens mais acessadas em cache ou algo parecido. O bacana é que fica tudo distribuído, com alta escalabilidade e disponibilidade. Mas a complexidade aumenta.

Pesquise sobre o MongoDB tbm. Ele é feito para consultas online, então talvez seja mais adequado.

[[]]'s

GUJ Expert Membro desde: 18/02/2008 16:17:53 Mensagens: 3002 Offline

maschiojv, dá uma olhada em Content Addressable Storage. Não sei se tem alguma solução open source madura e fácil de usar, mas cheguei a usar na empresa em que trabalhei o CAStor, que resolveu bem o problema de repositórios de arquivos em grande quantidade, balanceamento de carga, disponibilidade, fora que gostei bastante da interface baseada em métodos e cabeçalhos HTTP.

HelloWorld Membro desde: 10/01/2011 15:03:07 Mensagens: 12 Offline

"...armazena e exibe milhares de imagens por dia..." ... má nem se fossem milhasres de arquivos ascii/txt filesystem daria conta.
Talvez dê com banco de dados. Mas se o volume é assim tão grande quanto vc dá a entender, aconcelho buscar alguma solução própria para armazenamento de imágens.

Notícias, artigos e o maior fórum brasileiro sobre Java