Verificar se tem algum elemento repetido na matriz

Pessoal não estou conseguindo fazer contar certo se tem elementos iguais na matriz.

Digamos que ele conta certinho mas quando não tem elementos repetidos ele conta igual

public class {
public static void main (String args[]){
int[][] mat = new int [2][2];
int lin=0; int col=0; int cont=0; int soma=0;

System.out.println ("---MATRIZ---");
for(lin=0; lin< mat.length; lin++){
  for(col=0; col<mat[0].length; col++){
    mat[lin][col] = (int) ((Math.random()*99)+1);
    System.out.print (mat[lin][col]+"\t");
  }
  System.out.println();
}
for(lin=0; lin< mat.length; lin++){
  for(col=0; col<mat[0].length; col++){
    for(int l=0; lin< mat.length; lin++){
      for(int c=0; col<mat[0].length; col++){
        if (l==lin){
          cont++;
        }
        if (c==col){
          cont++;
        }
      }
    }
    if(cont>1){
      System.out.println("Existe(m) "+cont+" numero(s) repetido(s).");
    }else{
      System.out.println("Não existe nenhum elemento repetido");
    }
  }
}

}
}