http://www.guj.com.br/posts/list/17.java JForum - http://www.jforum.net
O Lucene (open-source search software) é uma ferramenta que tem lugar em um grande número de aplicações web e quem não conhece está perdendo tempo. Ontem saiu a nova versão com novidades que merecem aparecer aqui.

A grande mudança acontece com o novo algoritmo de indexação que agora trabalha na memória e consegue enorme melhoria no desempenho. A simples troca do jar do Lucene 2.2 pelo novo jar do Lucene 2.3 (sem recompilar nada) já mostra um excelente ganho de desempenho na indexação que pode atingir até 500%.

Algumas informações tiradas de http://svn.apache.org/repos/asf/lucene/java/tags/lucene_2_3_0/CHANGES.txt

Os defaults do IndexWriter mudaram de modo a maximizar a velocidade de indexação.
1) Agora o IndexWriter usa a memória, 16 MB por default) (call IndexWriter.setMaxBufferedDocs to get backwards compatible behavior).

2) ConcurrentMergeScheduler serve para executar merges usando background threads (call IndexWriter.setMergeScheduler(new SerialMergeScheduler()) to get backwards compatible behavior).

3) Os merges são escolhidos baseados no tamanho em bytes de cada segmento ao invés do número de documentos (call IndexWriter.setMergePolicy(new LogDocMergePolicy()) to get backwards compatible behavior).


O download pode ser veito em em http://lucene.apache.org/#24+January+2008+-+Lucene+Java+2.3.0+available

Vejam mais informações em http://www.infoq.com/news/2008/01/lucene-23-mahout

[]s
Luca]]> http://www.guj.com.br/prepost/80410/427144/lancada-versao-23-do-lucene-com-melhoria-de-ate-500-no-desempenho-da-indexacao http://www.guj.com.br/prepost/80410/427144/lancada-versao-23-do-lucene-com-melhoria-de-ate-500-no-desempenho-da-indexacao GMT Testaste se está bem rápido mesmo? Uso Lucene desde as versões 1.X e já estava um pouco desapontado pela performance.
Aliás, alguém sabe como anda o Hadoop?

Até!]]> http://www.guj.com.br/prepost/80410/427214/relancada-versao-23-do-lucene-com-melhoria-de-ate-500-no-desempenho-da-indexacao http://www.guj.com.br/prepost/80410/427214/relancada-versao-23-do-lucene-com-melhoria-de-ate-500-no-desempenho-da-indexacao GMT
Hadoop continua encubado, e esta sendo utilizado em um projeto recem lancado, o Manhount, que tem um pessoal de grandes universidades envolvidos.

Maquiavel, o lucene e qualquer indexador sempre vai ser mais lento para escrever do que pra ler. Pra mim a leitura pelo lucene sempre foi incrivelmente rapida.]]> http://www.guj.com.br/prepost/80410/427223/relancada-versao-23-do-lucene-com-melhoria-de-ate-500-no-desempenho-da-indexacao http://www.guj.com.br/prepost/80410/427223/relancada-versao-23-do-lucene-com-melhoria-de-ate-500-no-desempenho-da-indexacao GMT Realmente mudou mas não vi ganhos aparentes. Deve ser bem incrível mesmo por dentro, mas ainda não tenho capacidade de entender por dentro a fundo a maneira que faz os índices.
[quote=Paulo Silveira]Hadoop continua encubado, e esta sendo utilizado em um projeto recem lancado, o Manhount, que tem um pessoal de grandes universidades envolvidos.[/quote]
Então não saiu muito do que estava a um ano atrás.
[quote=Paulo Silveira]Maquiavel, o lucene e qualquer indexador sempre vai ser mais lento para escrever do que pra ler. Pra mim a leitura pelo lucene sempre foi incrivelmente rapida.[/quote]
Para ler estou bem satisfeito, na escrita já sabia que era bem mais lento, mas ainda esperava algo mais. Geralmente faço criação de pouco em pouco dos índices, assim não sobrecarrego o sistema. Não gosto de comparar coisas, mas quando fiz testes do MS IndexServer e Lucene 1.9 na época, o IndexServer e o IFilter não comiam um processador inteiro para eles e faziam a indexação em menor tempo (não tão menor). Tinha um projeto que a primeira indexação tinha que indexar 120GB de pdfs, não creio que seja culpa só do Lucene e do PDFBox, e talvez o que eu fiz na época também não era tão otimizado, mas mesmo assim era mais simples integrar o Lucene ao portal em PHP do que o IndexServer.

Valeu pelas respostas.

Até!]]> http://www.guj.com.br/prepost/80410/427246/relancada-versao-23-do-lucene-com-melhoria-de-ate-500-no-desempenho-da-indexacao http://www.guj.com.br/prepost/80410/427246/relancada-versao-23-do-lucene-com-melhoria-de-ate-500-no-desempenho-da-indexacao GMT
Põe projeto de sucesso nisso

Um abraço,]]> http://www.guj.com.br/prepost/80410/427454/relancada-versao-23-do-lucene-com-melhoria-de-ate-500-no-desempenho-da-indexacao http://www.guj.com.br/prepost/80410/427454/relancada-versao-23-do-lucene-com-melhoria-de-ate-500-no-desempenho-da-indexacao GMT
]]> http://www.guj.com.br/prepost/80410/427462/relancada-versao-23-do-lucene-com-melhoria-de-ate-500-no-desempenho-da-indexacao http://www.guj.com.br/prepost/80410/427462/relancada-versao-23-do-lucene-com-melhoria-de-ate-500-no-desempenho-da-indexacao GMT http://www.guj.com.br/prepost/80410/428511/lancada-versao-23-do-lucene-com-melhoria-de-ate-500-no-desempenho-da-indexacao http://www.guj.com.br/prepost/80410/428511/lancada-versao-23-do-lucene-com-melhoria-de-ate-500-no-desempenho-da-indexacao GMT Caso queira saber mais do projeto: http://lucene.apache.org/
Especificamente para java: http://lucene.apache.org/java/docs/index.html

Até!]]> http://www.guj.com.br/prepost/80410/428513/relancada-versao-23-do-lucene-com-melhoria-de-ate-500-no-desempenho-da-indexacao http://www.guj.com.br/prepost/80410/428513/relancada-versao-23-do-lucene-com-melhoria-de-ate-500-no-desempenho-da-indexacao GMT Alguem ai sabe onde posso encontrar um tutorial sobre o Lucene??? Ou se existe algum livro???

valeu!]]> http://www.guj.com.br/prepost/80410/453347/relancada-versao-23-do-lucene-com-melhoria-de-ate-500-no-desempenho-da-indexacao http://www.guj.com.br/prepost/80410/453347/relancada-versao-23-do-lucene-com-melhoria-de-ate-500-no-desempenho-da-indexacao GMT http://www.guj.com.br/prepost/80410/540609/relancada-versao-23-do-lucene-com-melhoria-de-ate-500-no-desempenho-da-indexacao http://www.guj.com.br/prepost/80410/540609/relancada-versao-23-do-lucene-com-melhoria-de-ate-500-no-desempenho-da-indexacao GMT