Como ler um .txt e passar para uma matriz?

Programação
#1

Olá, preciso ler a seguinte matriz que está em um arquivo .txt e passar os valores para uma matriz. O objetivo é resolver o jogo Sudoku. No .txt, os " 0 " são os espaços.

080409653
642800070
000000800
007005042
000701000
850600100
006000000
010004736
273508010

O problema é que eu não consigo ler dado por dado para colocar na matriz, somente linha por linha :persevere:
Espero que alguém possa me ajudar. Segue o código até agora

package sudoku;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.IOException;
import java.util.Scanner;

public class SUDOKU {

    /**
     * @param args the command line arguments
     */
    public static void main(String[] args) throws FileNotFoundException, IOException {
        String linha; //linha lida
        FileReader leitor = new FileReader("facil01.txt"); //leitor 
        BufferedReader bArquivo = new BufferedReader(leitor); //buffer
        
        //enquanto houverem linhas a serem lidas, executa
        while(true){
            linha = bArquivo.readLine();
            if(linha == null){
                break;
            }
            System.out.println(linha);
        }
    }
}