�ltimas mensagens do t�pico "[RESOLVIDO] c3p0, o site do GUJ usa ?? broken pipe solu��es ?"

[RESOLVIDO] c3p0, o site do GUJ usa ?? broken pipe solu��es ?

Lavieri — GMT

[EDIT]Bom resumo das solu��es usadas podem ser encontrada neste post => http://blog.caelum.com.br/2009/10/19/a-java-net-socketexception-broken-pipe/[/EDIT]

Opa pessoal, aqui no GUJ voc�s usam c3p0 ??

andei tendo problemas de brokenpipe algumas poucas vezes essa semana navegando aqui pelo site do GUJ. passei por um perrengue grande la na empresa, pra resolver um problema similar.

Meu servidor MySQL estava configurado para resetar a cada 20s, e ent�o 20 segundos sem ninguem entrar no site, e o pool de conex�es do hibernate ia por agua abaixo, ao criar um session o hibernate n�o verifica se as suas conex�o do pool est�o realmente abertas, ele apenas pega uma e a devolve, e ent�o quando voc� tenta usar a session recebe uma exce��o de broken pipe, conforme recebi algumas vezes acessando aqui o guj, a exce��o ta no final deste post.

Aumentei para 500 segundos, e ent�o configurei o c3p0, para renovar caso houvesse ociosidade por 100 segundos,

[b][EDIT][/b] as linhas abaixo descobri que n�o era o caso, o problema era outras configura��es do banco, que falo no final deste post, e no post do Paulo Silveira.[b][/EDIT][/b]
[b][not-true][/b]o problema � que aparentemente o c3p0 tem uma forma estranha de renovar a conex�o, ele renova a que esta ociosa a mais de 100 segundos e renova tamb�m todas as outras, ent�o a cada 100 segundos, todo meu pool tomava um reset, gerando mais broken pipe, pois se uma das sess�es n�o ociovas estivesse em uso no momento do reset o usuario recebia um broken pipe no meio da requisi��o[b][/not-true][/b]

n�o sei se foi problema por n�o entender a configura��o do c3p0, mas li diversos artigos configurei igual varios lugares, e o comportamento se mantinha, n�o conseguindo configurar o c3p0, acabei sendo vencido, e mudei de approche.

envolvi a factory de sess�o com um check, para verificar diretanemente na connection se a conex�o estava ativa (j� que quando a session � criada o hiberante n�o as checa).

[b][EDIT][/b]j� n�o estou usando mais esse trecho abaixo, consegui solucionar sem ter que testar a cada conex�o que sai do pool, e configurei o c3p0.[b][/EDIT][/b]
[code] try {
if (!session.connection().isValid(1)) {
session.reconnect(null);
logger.warn("connection was lost, reconnect was made");
}
} catch (SQLException ex) {
logger.error("fail trying to reconnect to database", ex);
throw new PersistenceException("fail trying to reconnect to database",ex);
}[/code]

A abordagem funciona, sempre que uma conex�o expira, eu a recupero-a passando por esse trecho.
Porem fiquei intrigado com esse problema e com esta solu��o, e tenho medo de ser algo muito POG.

J� fiz diversos teste com este approche, inclusive dando kills na conex�o para simular o timeout, e a conex�o sempre se recupera.

Gostaria de saber como o GUJ lida com os broken pipe, e como � feito o pool de conex�o de voc�s.

Segue abaixo a exce��o que tive aqui no GUJ, esta exce��o � a mesma que recebia no meu servidor quando rolava timeout.
[code][/code]

Re:c3p0, o site do GUJ usa ?? broken pipe solu��es ?

Paulo Silveira — GMT

Ola Lavieri!

Estou adiando de fazer um post sobre broken pipe a tempos... � um assunto muito pertinente!

Primeiro, sobre o GUJ, achei estranho, pq usamos o c3p0. E adivinha? Com a atulizacao do JForum as variaveis estao comentadas!!! Vamos mudar e no proximo restart nao deve haver mais broken pipes. (quer dizer, deve haver, mas o c3p0 nao vai passar essas conexoes pra gente!).

Para acabar com o Broken Pipe com o c3p0 tem dois modos:

1-) checar se a conexao esta viva!
essa � a forma que voce implementou! mas tambem da pra fazer via c3p0:
c3p0.testConnectionOnCheckout=true

toda vez que ele pegar uma conexao emprestada, ele da um ping! a desvantagem � de performance mesmo: toda vez que voce for fazer uma query, vai "tocar" o banco de dados duas vezes. dois roundtrips.

2-) de tempos em tempos, uma thread passa pelo pool inteiro e da o ping!
c3p0.idle_test_period=100 #testa de 100 em 100 segundos se tem alguem morto

� uma forma que economiza bastante, ja que nao vai pingar TODA vez que voce for fazer uma query, . em relacao a primeira proposta, voce perde reliability, ganha performance.

A documentacao do c3p0 dizia que da ate para usar os dois juntos, para algo mais reliable ainda, e obviamente de menor performance. No seu caso particular, creio que voce va precisar da opcao 1, pois o tempo de vida � muito curto de cada conexao!

Cuidado que alguns parametros do c3p0 sao configurados no hibernate com outro nome, e isso mudou de uns tempos pra ca. Entao verifique no log do c3p0 se suas opcoes foram carregadas corretamente!

abracos

Re:c3p0, o site do GUJ usa ?? broken pipe solu��es ?

Lavieri — GMT

bom eu usei a segunda abordagem do

c3p0.idle_test_period=100

ele bizarramente estava resetando todas quando encontrava algum problema, sempre a cada 100s, havia um problema =/

n�o sei o que �

sobre o

c3p0.testConnectionOnCheckout=true

cheguei a experimentar tamb�m, n�o lembro perfeitamente dos resultados, mas vou testar novamente... mas entre usar o c3p0 resetando a cada consulta, e fazer um recheck a cada abertura de sess�o como estou fazendo com meu HiberanteUtils, prefiro fazer no HiberanteUtils, pra n�o estressar de + o banco.

vou tentar fazer novas checagem no meu servidor.

e para falar a verdade eu tenho acesso a configura��es de tempo de time_out do servidor, e posso trocar, mas como n�o sabia bem qual era a melhor op��o, so fiz aumentar de 20s (o que sabia q era muito pouco) para 500s (o que � razo�vel) .... o padr�o do mysql s�o 8 horas o.O aparentemente seria de + ...

desde a inser��o do c�digo no HiberanteUtils nunca mais houve broken pipe no servidor... j� fiz testes do tipo de dar KILL na conex�o, e a sess�o sempre se recupera, sem maiores estresses... afinal como abro e fecho a sess�o a cada requisi��o (e como agora uso lazy session) ou seja, so abro sess�o para quem usa o banco, e s� durante seu uso... ent�o ninguem passa mais de 500s com uma sess�o aberta, n�o acontecendo problemas mais de broken

Re:c3p0, o site do GUJ usa ?? broken pipe solu��es ?

Paulo Silveira — GMT

Ola Lavieri!

Fazer session.connection().isValid(1) no seu HibernateUtils estressa o banco da mesma forma que o test_on_checkout... Se der pra deixar num arquivo de configuracao do hibernate em vez do hibernate util, acho uma vantagem, mas nao acho POG o que voce fez, em especial por estar isolado.

Re:c3p0, o site do GUJ usa ?? broken pipe solu��es ?

Lavieri — GMT

[quote=Paulo Silveira]Ola Lavieri!

Fazer session.connection().isValid(1) no seu HibernateUtils estressa o banco da mesma forma que o test_on_checkout... Se der pra deixar num arquivo de configuracao do hibernate em vez do hibernate util, acho uma vantagem, mas nao acho POG o que voce fez, em especial por estar isolado.[/quote]

pelo que tinha entendido do seu post, o c3p0 vai fazer o teste a cada requisi��o minha do banco...

o meu teste s� � realizado na abertura de um Session do hibernate... ele na verdade � assim:

[code]@Component
@RequestScoped
public class JITEntityManagerCreator implements ComponentFactory {
//... outras coisas da classe
@Override
public EntityManager getInstance() {
if (entityManager == null)
entityManager = HibernateUtils.reconnectIfNeed( //reconnectIfNeed � que realiza o teste
factory.createEntityManager() //esse teste s� � feito 1 vez na abertura da session
);
return entityManager;
}

@PreDestroy
public void destroy() {
if (entityManager != null && entityManager.isOpen()) {
entityManager.close();
}
}
//mais coisas
[/code]

ou seja, eu s� teso uma vez, quando ela � aberta, e como seu escopo � de Request, a session n�o dura muito tempo....

dentro deste request, se eu tiver 1000 select, ou qualquer outra coisa, n�o terei novos testes, apenas o primeiro no momento da abertura...

..........

Esse approche esta assim, pois o problema sempre se da, quando passa muito tempo com a conex�o no pool, sem nenhuma session usar, durante a session aberta, nunca deu problema. ent�o eu s� testo no start...

Se o "test_on_checkout" s� checar uma vez, na hora de criar a session ai � igual o stress, mas se checar a cada requisi��o no banco, ent�o ele vai gerar mais stress ....

Re:c3p0, o site do GUJ usa ?? broken pipe solu��es ?

Paulo Silveira — GMT

[quote=Lavieri]
Se o "test_on_checkout" s� checar uma vez, na hora de criar a session ai � igual o stress,[/quote]

Praticamente isso. Ele s� vai checar quando alguem puxar uma conexao do pool. E isso vai acontecer na hora de abrir uma session!

Re:c3p0, o site do GUJ usa ?? broken pipe solu��es ?

Lavieri — GMT

[quote=Paulo Silveira][quote=Lavieri]
Se o "test_on_checkout" s� checar uma vez, na hora de criar a session ai � igual o stress,[/quote]

Praticamente isso. Ele s� vai checar quando alguem puxar uma conexao do pool. E isso vai acontecer na hora de abrir uma session![/quote]

teria como postar o c3p0 aqui do guj ???

Re:c3p0, o site do GUJ usa ?? broken pipe solu��es ?

Paulo Silveira — GMT

[code]
org.hibernate.connection.C3P0ConnectionProvider
1
20
0
100
50
[/code]

Re:c3p0, o site do GUJ usa ?? broken pipe solu��es ?

Lavieri — GMT

[quote=Paulo Silveira][code]
org.hibernate.connection.C3P0ConnectionProvider
1
20
0
100
50
[/code][/quote]

opa! vlw!

ja leu essa parte do tutorial do c3p0 ?? http://www.mchange.com/projects/c3p0/index.html#hibernate-specific

algumas coisas que vc n�o esta especificando o hibernate esta setando o padr�o dele, mesmo que vc n�o sete.

Re:c3p0, o site do GUJ usa ?? broken pipe solu��es ?

Paulo Silveira — GMT

Ola Tomaz! Desses so nao setamos o aquire_increment, que o default de 1 � suficiente para n�s! Os outros est�o todos setados ai.

Re:c3p0, o site do GUJ usa ?? broken pipe solu��es ?

Lavieri — GMT

[quote=Paulo Silveira]Ola Tomaz! Desses so nao setamos o aquire_increment, que o default de 1 � suficiente para n�s! Os outros est�o todos setados ai.[/quote]

blz, segunda feira, devo fazer uns teste la no trabalho, para ver o comportamento do c3p0

Re:c3p0, o site do GUJ usa ?? broken pipe solu��es ?

Paulo Silveira — GMT

oi tomaz!

depois posta o resultado! to escrevendo um post a respeito!

abracos!

Re:c3p0, o site do GUJ usa ?? broken pipe solu��es ?

Lavieri — GMT

[quote=Paulo Silveira]oi tomaz!

depois posta o resultado! to escrevendo um post a respeito!

abracos!
[/quote]

posto sim, ja configurei antes, inclusive seguindo o modelo que tem no site do hibernate.org ... mas continuou rolando os broken pipe, depois que fiz a modifica��o que postei aqui sobre o HiberanteUtils nunca mais deu...

sobre aqui o guj, n�o sei c vc j� descomentou e restartou, mas hoje recebi + um broken pipe, no periou da tarde

Re:c3p0, o site do GUJ usa ?? broken pipe solu��es ?

Lavieri — GMT

RESOLVIDO, problema foi solucionado

encontrei o resto das configura��es que faltavam no meu servidor de mysql

interactive_timeout=10
connect_timeout=20

eu ja tinha mudado o wait_timeout=500 mas faltava as outras duas propriedades. agora o problema foi resolvido.

mais detalhes no post do Paulo Silveira no blog da caelum, onde comento sobre essa propriedade e outros detalhes do c3p0.

http://blog.caelum.com.br/2009/10/19/a-java-net-socketexception-broken-pipe/

Re:[RESOLVIDO] c3p0, o site do GUJ usa ?? broken pipe solu��es ?

djemacao — GMT

Interessante � que, se sabem tudo que pode ser a causa disso, porque ainda recebemos esta mensagem aqui no GUJ frequentemente?

Re:[RESOLVIDO] c3p0, o site do GUJ usa ?? broken pipe solu��es ?

Paulo Silveira — GMT

[quote=djemacao]Interessante � que, se sabem tudo que pode ser a causa disso, porque ainda recebemos esta mensagem aqui no GUJ frequentemente?[/quote]

Oi DJ!

Na ultima migracao de versao (2.1.7 pra 2.1. do jforum, acabou que passamos a configuracao por cima e ficamos com essas configuracoes desabilitadas, acabamos de restartar o servidor com as configuracoes novas, vamos ver se estao ok agora.

Re:c3p0, o site do GUJ usa ?? broken pipe solu��es ?

boaglio — GMT

� s� 20 mesmo ? Caramba... :shock:

[quote=Paulo Silveira][code]
20
[/code][/quote]

Re:c3p0, o site do GUJ usa ?? broken pipe solu��es ?

Lavieri — GMT

[quote=boaglio]
� s� 20 mesmo ? Caramba... :shock:

[quote=Paulo Silveira][code]
20
[/code][/quote][/quote]

como assim s� ??

20 conex�es concorrentes, � bastante... quase nunca � preciso de tantas

Re:[RESOLVIDO] c3p0, o site do GUJ usa ?? broken pipe solu��es ?

Lavieri — GMT

[quote=djemacao]Interessante � que, se sabem tudo que pode ser a causa disso, porque ainda recebemos esta mensagem aqui no GUJ frequentemente?[/quote]

o primeiro replay do paulo ele explicou o problema

[quote=Paulo Silveira]Ola Lavieri!...
[b]Primeiro, sobre o GUJ, achei estranho, pq usamos o c3p0. E adivinha? Com a atulizacao do JForum as variaveis estao comentadas!!! Vamos mudar e no proximo restart [/b].../quote]

Re:c3p0, o site do GUJ usa ?? broken pipe solu��es ?

Paulo Silveira — GMT

[quote=Lavieri]
20 conex�es concorrentes, � bastante... quase nunca � preciso de tantas[/quote]

Exato! Aposto que 5 conexoes dariam conta.

Imagine que nossa transacao demora 2 segundos. Podemos ter 20 usuarios "simultaneos" numa janela de 2 segundos (isso daria 800 mil transacoes por dia mais ou menos, eh MUITA coisa). se aparecesse um 21o, ele teria de esperar so 2 segundos, no pior dos casos.

Re:[RESOLVIDO] c3p0, o site do GUJ usa ?? broken pipe solu��es ?

osmio — GMT

Por padr�o, o c3p0 cria as Threads auxiliares (que monitoram o pool) no mesmo grupo de Threads da que inicializou o pool.
Conhecem alguma maneira de desvincular o Grupo de Threads?

Ex, criar as Daemons no mesmo n�vel da Thread Main?

At,