Algoritmo para localizar seqüências fixas e varíaveis de texto?

This message was edited 1 time. Last update was at 16/08/2011 08:45:01

Bom dia,

Gostaria de saber se alguém conhece um algoritmo que permita identificar em um determinado texto:

Trechos de texto repetidos

Trechos de texto varíaveis

Separar ambos em um mapa onde a chave é a ordem (índice) em que os trechos estão no texto, e o valor do Map é o objeto que representa o trecho repetido/varíavel

A idéia é quebrar linhas de texto em estruturas onde eu possa extrair o texto repetido e o que varia e saber a ordem em que eles aparecem no texto original.

Talvez seu problema possa ser resolvido com expressões regulares, cuja função é identificar padrões em textos:

http://download.oracle.com/javase/tutorial/essential/regex/
http://www.regular-expressions.info/java.html

O projeto Apache Lucene permite fazer buscas em textos, talvez seja útil também:

http://lucene.apache.org/java/docs/index.html

Thread.start() Membro desde: 12/02/2009 11:05:28 Mensagens: 29 Offline

voce pode tentar usar o pacote regex....

Como por exemplo as classes Pattern e Matcher...

onde como o roger_rf disse vc pode usar expessões regex no lugar da string xpto para procurar por padrões e criar sua logica para colocar no map os resultados dentro do while.

This message was edited 6 times. Last update was at 16/08/2011 10:24:35

O primeiro testes que fiz, para ver se dá certo, foi com o StringTokenizer, desta forma:

import java.util.ArrayList;
import java.util.List;
import java.util.StringTokenizer;
import org.apache.commons.lang.StringUtils;

public class Teste {

private List<String> listStringsSeparadas;
    private final String stringOriginal;
    private int contStringsVariaveis;

public Teste (String stringOriginal) {
        listStringsSeparadas = new ArrayList<> ();
        this.stringOriginal = stringOriginal;
        contStringsVariaveis = 0;
    }

public void gerarStringsSeparadas() {
        
        StringTokenizer token = new StringTokenizer(stringOriginal);
        StringBuilder expressaoFixa = new StringBuilder();
        
        while (token.hasMoreTokens()) {
            String str = token.nextToken();
            int contStr = StringUtils.countMatches(stringOriginal, str);
            if (contStr > 1) {
                expressaoFixa.append(String.format("%s ", str));
            } else {
                listStringsSeparadas.add(expressaoFixa.toString());
                contStringsVariaveis++;
                listStringsSeparadas.add(String.format("[Variable String %d]", contStringsVariaveis));
                expressaoFixa.setLength(0);
            }
        }
        
    }

}

Embora tenha até conseguido separar vários trechos, para outros, não detectou corretamente, colocando String Fixa como String Varíavel e gerando várias String Varíaveis que não têm nada a ver (espaços em branco).
O problema é que para expressões regulares, teria que gerá-las dinamicamente...
Teria que ir extraindo as palavras, montar as expressões e procurar padrões?
Como ficaria, mais ou menos?

Para cadeias de string´s mais simples funcionou:

No entanto, para cadeias complexas (segue exemplo com instruções sql):

Este pode ser o caminho certo? Ou agrego expressões regulares aí?

Notícias, artigos e o maior fórum brasileiro sobre Java