[RESOLVIDO]Hibernate + MySQL: Problema de performance

Mostra o mapeamento.
Você não colocou como @Eager não né ?

Ih caraca! Tenho 5 objetos definidos como EAGER.
Com certeza é isso!

Hahahahaha!!!

Vou verificar aqui e passo um feedback!

Dá uma olhada por conta que se são 5 mil registros imagina os filhos de cada um deles.

Talvez isso esteja causando o gargalo dos 15 segundos.

Só cuidado após trocar para lazy com lazy inicialization exception

Então, fiz o teste, e na consulta geralzona (from Ocorrencia), reduziu o tempo de 15 pra 3 segundos.

O que pra mim já é aceitável.

Porém, o problema da query utilizando a clausula “IN”, permanece. Fica um bom tempo e nao tenho resposta.

Seguem meus mapeamentos.

Ocorrencia:

package br.com.jm.beans;

import java.io.Serializable;
import java.text.DateFormat;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Date;

import javax.persistence.Column;
import javax.persistence.Entity;
import javax.persistence.FetchType;
import javax.persistence.GeneratedValue;
import javax.persistence.GenerationType;
import javax.persistence.Id;
import javax.persistence.JoinColumn;
import javax.persistence.ManyToOne;
import javax.persistence.Table;
import javax.persistence.Transient;

@Entity
@Table(name="ocorrencia")
public class Ocorrencia implements Serializable{
	private static final long serialVersionUID = -2051090227918002023L;
	@Id
	@GeneratedValue(strategy=GenerationType.AUTO)
	@Column(name="id_ocorrencia")
	private Integer idOcorrencia;
	@ManyToOne(fetch=FetchType.LAZY)
	@JoinColumn(name="id_usuario")
	private Usuario usuario;
	@ManyToOne(fetch=FetchType.LAZY)
	@JoinColumn(name="id_demanda")
	private Demanda demanda;
	@ManyToOne(fetch=FetchType.LAZY)
	@JoinColumn(name="id_responsavel")
	private Usuario responsavel = new Usuario();
	@ManyToOne(fetch=FetchType.LAZY)
	@JoinColumn(name="id_setor")
	private Setor setor;
	@Column(name="oc_data")
	private Date data;
	@Column(name="oc_acao")
	private String acao;
	@Column(name="oc_desc")
	private String descricao;
	@Column(name="oc_solic")
	private String solicitacao;
	@Transient
	private Integer index;
	@Transient
	private String ac;
	@Transient
	private String sdata;

        // GETTERS E SETTERS
}

Demandas:

package br.com.jm.beans;

import java.io.Serializable;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;

import javax.persistence.CascadeType;
import javax.persistence.Column;
import javax.persistence.Entity;
import javax.persistence.FetchType;
import javax.persistence.GeneratedValue;
import javax.persistence.GenerationType;
import javax.persistence.Id;
import javax.persistence.JoinColumn;
import javax.persistence.ManyToOne;
import javax.persistence.OneToMany;
import javax.persistence.Table;
import javax.persistence.Transient;

@Entity
@Table(name="demanda")
public class Demanda implements Serializable{
	private static final long serialVersionUID = 4959562413119839409L;
	@Id
	@GeneratedValue(strategy=GenerationType.AUTO)
	@Column(name="id_demanda")
	private Integer idDemanda;
	@ManyToOne(fetch=FetchType.EAGER)
	@JoinColumn(name="id_eleitor", nullable=true)
	private Eleitor eleitor;
	@Column(name="dm_solic")
	private String solic;
	@Column(name="dm_desc")
	private String desc;
	@Column(name="dm_status")
	private String status;
	@Column(name="dm_local")
	private String local;
	@OneToMany(mappedBy="demanda", fetch=FetchType.EAGER, cascade={CascadeType.DETACH,CascadeType.REMOVE})
	private List<Ocorrencia> listaOcorrencias;
	@Transient
	private SimpleDateFormat sdf = new SimpleDateFormat("dd/MM/yyyy");
	@Transient
	private Date periodoIni;
	@Transient
	private Date periodoFin;
	@Transient
	private String nsolic;
	@Transient
	private String nlocal;
	
	public Demanda(){
		
	}
	
	public Demanda(String solic){
		this.solic = solic;
	}
	
        //GETTERS E SETTERS
}

Chegou a debugar e viu que não saía do

Query query = session.createQuery(“from Ocorrencia o where o.data in(select max(oc.data) from Ocorrencia oc group by oc.demanda.idDemanda)”); ?

Não dá para trocar o in por um

Query query = session.createQuery(“from Ocorrencia o where o.data = (select max(oc.data) from Ocorrencia oc group by oc.demanda.idDemanda)”);

Afinal o in só está filtrando um cara mesmo.

Debuguei sim, e ele trava quando ativa o list().

O negocio do = é que ele retorna mais de 1 resultado no subselect, por causa do group by.

Não dá para colocar um distinct não ?

Por sinal precisa de subselect ?
Não dá para fazer assim não ?

Query query = session.createQuery(“select distinct from Ocorrencia o where o.data = max(o.data) group by o.demanda.idDemanda)”);

Tentei dessa forma e ele me retornou um “invalid use of group function”

Tentei tirar a clausula group by, mas ele continuou dando o mesmo erro. Oo

O erro é porque você está usando o max em um where.

Pode tentar isso aqui

Volta com o subselect mesmo.

Query query = session.createQuery(“select distinct o from Ocorrencia o where o.data = (select max(oc.data) from Ocorrencia oc )”);

Por enquanto deixa sem o groupBy mesmo.

Dessa vez ele me retornou 2 resultados…

Deveria retornar bem mais…Oo

Me explica o que você quer nessa consulta por favor

É estranho porque eu usava exatamente aquela primeira query, quando meu banco estava populado com dados fictícios.

Acho que existiam cerca de 30 Ocorrencias e 10 Demandas. Ele me retornava tudo certinho.

Porém, quando migrei o banco real, e passou a ter 35mil registros…ele começou a dar esse problema.

É o seguinte:

Tenho essa tabela de Ocorrencias, cada ocorrencia pertence ä uma demanda. À medida que uma demanda vai ganhando avanços, novas ocorrencias vão sendo
cadastradas…juntando assim varias ocorrencias filhas de uma demanda.

Quando o usuario loga no sistema, ele tem uma caixa de entrada de demandas que ele tem que resolver. Nessa caixa de entrada, eu quero que seja mostrado
os dados da ultima ocorrencia, de cada demanda que esteja sob responsabilidade desse usuario.

Ou seja, quero retornar a ultima ocorrencia, de cada demanda do sistema. Isso eu verifico pela data, pego a maior data de cada ocorrencia, e armazeno essa ocorrencia, que representa uma demanda.
E por ai vai…até montar a caixa de entrada do usuario.

Não sei se ficou confuso de entender…

O que você quer trazer ?

Porque o max(o.data) ?

Como é que você vai saber que a data da última demanda de uma ocorrência, pois pelo modelo as demandas tem 2 datas ?

E a data da ocorrência é a data que ela foi aberta ?
Ou a data da ocorrência é atualizada

Então, eu so utilizo uma data nessa consulta, que é a data do objeto Ocorrencia.
Essa data é a data de cada acontecimento que se segue no decorrer daquela demanda.
Cada acontecimento é uma Ocorrencia.

As datas que voce identificou, são do objeto Demanda, essas datas não sao utilizadas nessa consulta,
somente em consulta para encontrar Demandas que foram iniciadas em um periodo de tempo.

Tá complicado essa consulta hein.rsrs
Não sei se isso que coloquei vai funcionar.

Query query = session.createQuery(“select d from demanda d where d.ocorrencia = (select oc,max(oc.data) as maior from Ocorrencia oc join demanda d where oc.data = maior)”);

Tentei trazer uma lista de demandas, em que cada demanda teria a maior ocorrência

Qualquer coisa coloca a dúvida lá no forum de sql e depois traduz para o hibernate.

Vamos imaginar uma situação:

Um chefe enviou uma demanda pro seu funcionario, nessa demanda ele disse que queria que fosse contratada uma fornecedora de café pra repartição.

Com isso, foi gerada uma Demanda.

Quando esse funcionario logar no sistema, ele vai notar na caixa de entrada dele essa demanda. Então ele vai enviar essa demanda pro setor de contatos,
pois ele já pesquisou qual a fornecedora mais em conta, e quer que o pessoal de contato, entre em contato com a empresa pra fechar negocio. Com isso
foi gerada outra Ocorrencia na mesma demanda.

Quando o usuario do setor de contatos logar, ele vai notar na caixa dele essa nova Ocorrencia. Ele vai entrar em contato com a fornecedora, e vai devolver
essa demanda para o funcionario inicial, criando assim outra Ocorrencia.

Finalmente, o usuario vai ver que o contrato foi fechado, e vai finalizar a demanda, definindo seu status como “FINALIZADO”.

Moral da historia: quando o usuario do setor de contatos entrou no sistema, ele so queria ver na caixa de entrada dele, os dados referentes ä ultima ocorrencia
daquela demanda que foi encaminhada para ele. Daí vem a necessidade do max(o.data).

Query query = session.createQuery(“select o from Ocorrencia o where o = (select oc from Ocorrencia oc join demanda d group by oc.demanda having max(oc.data) and oc.demanda = d”);

Tentei outro jeito aqui.

Espero que dê uma luz.

Se alguém tiver mais experiência em sql e o hibernate e puder ajudar.

A sua segunda query consegue usar um índice em data se você criar

Mas você pode separar em 2 queries. Essa com um índice em (id_demanda, data) não vai nem na tabela, pega as informações direto do índice

e a principal precisaria de um índice simples em (data)

Não vejo como isso ficar lento para um IN pequeno, algo que vc pode forçar com um um limit na primeira query, afinal ninguém exibe mil registros em uma página e sim usa paginação

No mais, 35 mil registros não é bem o volume que vai causar lentidão por falta de índice, talvez seu mysql configurado pra usar poucos recursos

O arquivo de configuração do MySQL é chamado my.ini (windows) ou my.cnf (linux). Provavelmente seu MySQL vem com alguns outros arquivos exemplos (my-small.ini, my-medium.ini, my-large.ini, my-huge.ini) com valores diferentes de uso de recursos, escolhe o adequado pra vc e substitui o conteúdo do my.ini por ele e restarta. Só não esquece de fazer backup do my.ini antigo pra caso o MySQL não levantar denovo com o novo. Ex: se mudar o tamanho do arquivo de log do innodb não vai levantar se não deletar os arquivos de log existente (ib_logfile na pasta data)

Vc tentou amarrar os dois select:

Query query = session.createQuery("from Ocorrencia as o where o.data in(select max(oc.data) from Ocorrencia as o2 where  o2.demanda.idDemanda=o.demanda.idDemanda)");

Deu certo!

Primeiramente, lele_vader, brigadão pelo empenho em me ajudar cara! Poucas vezes encontrei alguém assim!

victorcosta, fiz o lance do my.ini que voce falou…coloquei o huge, e consegui fazer a consulta, mesmo com todo meu mapeamento em EAGER, em menos de 4 segundos!

e finalmente yoshikichi, foi voce quem resolveu o problema cara!

Era realmente só isso: amarrar os 2 selects. Não sei qual a logica por tras disso, mas…funcionou…e agora o que menos me importa é o porque disso! Hahaha!!!

Bom, brigadão à todos!!! De verdade!!!

Abraço!

Que bom que funcionou.rsrs
Vou até guardar esse código aqui também.
Agora não sabia dessa do mysql em ter diversos arquivos para o nivel de recursos.
Muito interessante.

renangd:

Deu certo!

Primeiramente, lele_vader, brigadão pelo empenho em me ajudar cara! Poucas vezes encontrei alguém assim!

victorcosta, fiz o lance do my.ini que voce falou…coloquei o huge, e consegui fazer a consulta, mesmo com todo meu mapeamento em EAGER, em menos de 4 segundos!

e finalmente yoshikichi, foi voce quem resolveu o problema cara!

Era realmente só isso: amarrar os 2 selects. Não sei qual a logica por tras disso, mas…funcionou…e agora o que menos me importa é o porque disso! Hahaha!!!

Bom, brigadão à todos!!! De verdade!!!

Abraço!

Na boa precisar posta ai…,
Abs