Collection que possibilite referência como um array comum

(esse é meu primeiro post)
Tenho que criar um Sudoku para a cadeira de IA. Meu problema é: Eu preciso fazer a comparação do campo 3x3 e também das linhas e colunas (regras do sudoku). Estou tendo que usar um array comum, porque num arrayList eu perco a referência e não posso apenas usar um contains()(Ex: array[1][2] != array[1][1] && array[1][2]!=array[2][2]). No entanto o array comum faz o programa ficar pesado devido à quantidade de verificações que tenho que fazer a cada jogada.