Connection Pool

é uma fila de conexões ao banco.

tipo voce não quer deixar um número infinito de conexões no banco, então cada conexão que for feita entra uma fila que você limita o tamanho.
Dá uma olhada nesse artigo, apesar de nao ser em Java dá para entender o conceito.

http://www.linhadecodigo.com.br/Artigo.aspx?id=1254

Obrigado!

Implementei a minha Connection Pool:

http://pedroabs.wordpress.com/2011/09/27/connection-pool-em-java-pool-de-conexoes/