Como implementar o tamanho de um filtro em uma imagem ?

Olá pessoal.

Existe uma forma eficiente de implementar o tamanho da máscara de um filtro, como por exemplo o filtro de média ou mediana ?

Se for usar o tamanho de filtro 3x3 pode até começar da primeira linha e primeira coluna da matriz, caso queira manter as bordas originais ou começar da linha 0 e coluna 0 mas teria que replicar as bordas. Em um filtro 3x3 não há mistérios mas se quiser um filtro 5x5 ? Teria que começar da linha 2 ou replicar 2 vezes as bordas. Esse problema aumenta com o incremento do tamanho. Um filtro 9x9 teria que começar da linha 5 e nesse caso veria a diferença sendo mais recomendado replicar as bordas, as 4 primeiras linhas, penso eu . Mas isso requeria um grande custo computacional caso o filtro fosse maior pois há filtros cujo resultado melhora a medida que tem o tamanho da máscara maior.

Nesse sentido, como determinar o tamanho da máscara de uma forma eficiente ?