Em geral, abrir uma conexão e mantê-la aberta não é ruim mas se o uso for muito esporádico, a conexão pode morrer e você ter problemas achando que é o servidor SQL. Uma coisa legal seria você centralizar todas as buscas em um único servidor e o mesmo retornando os dados da busca, aí quem teria que se preocupar com múltiplas conexões seria somente um serviço.
Até!