Qual a melhor configuracão de parametros da jvm para rodar o tomcat 6?

Pra fugir de Memory Leak tu tem que corrigir a aplicação. Se é no tomcat abre ticket pra eles.

Não adianta socar memória, pois se ta vazando vai ocupar o tanto que você aumentou.

[]'s

mas como posso achar memory leak na aplicacao?

Profiler.

Netbeans tem um muito bom -> http://profiler.netbeans.org/

problema é que quando a aplicação é submetida a testes, como exemplo no meu pc. Ela nunca apresenta o problema, mas quando esta em produção a memoria resolve subir.

Ja imaginei que os usuários ficam fazendo varias requisições para o tomcat, dando vários cliques em botões, fazendo vários submit quando a aplicação apresenta uma leve lentidão.

a aplicação tem em torno de 50 clientes.

exemplo varios cliques no botao para ver se a coisa anda

O gargalo pode não estar no tomcat. O fato de comer a memória e não liberar mais enquanto esta executando até considero “normal”.

Provavelmente o tomcat vai chegar no que você especificou e parar.

Você precisa analisar se o equipamento que você tem comporta o seu número de usuários.
Se seu banco ta respondendo de acordo
Se sua rede esta ok

E por ai vai

Obviamente que vale o teste de substituir o tomcat pelo jetty. Os relatos de uso do jetty são extremamente positivos, vide o próprio GUJ.