Realmente, pois tendo uma tabela não necessitaria descobrir cada um dos fatores, pois já teríamos eles. E de qualquer forma todos os números depois de fatorados tornarão-se fatores de primos. Ex.: testamos na fatoração se o número é divisível por 2, se não for, pulamos para o próximo que é o 3 e assim sucessivamente, porém poderemos desconsiderar os próximos números como 4, 6, 8, 9…etc, pois são todos divisíveis por 2 ou 3, e caso o número não seja divisível por eles, também não será dos seus divisores.
Dê uma pesquisada sobre os Números de Gödel e Fatores Primos.
Bem, para armazenar os primos, você poderia utilizar uma lista pré-escrita contendo uma grande quantidade de números primos (porém não é aconselhável, tendo em vista que o número que você irá fatorar poderá ser maior que sua lista), ou gerar esta lista na hora da execução, antes de fatorá-los, contendo todos os números primos de 2 até o número a ser fatorado.