Persistência de objetos, qual a melhor solução?

Boas pessoal.Tenho que realizar testes a um conjunto de algortimos de recomendação, de programas de televisão neste caso. Para testar esses algoritmos os dados relativos aos utilizadores são carregados a partir de um dataset constituido por um conjunto de ficheiros que contêm por exemplo, o userID o itemID e a classificação que um utilizador deu ao item. O meu problema surge devido ao facto de ser necessário ter esses dados rapidamente disponíveis para realizar os cálculos necessários o mais rapidamente possível. Por exemplo, construo um perfil de utilizador com as suas classificações a items e similaridade dos seus gostos com outros utilizadores, quando necessário preciso invocar esse perfil o mais rapidamente possivel. A solução mais rápida seria armazenar todos os perfis em memória, mas no caso de serem muitos utilizadores essa solução torna-se inviável. A partir de uma base de dados apenas posso carregar os dados em bruto não o objecto em si. O que me leva à minha questão final, é possivel ter uma solução que permita ter os objectos todos armazenados e que os permita carregar rapidamente sempre que necessário, que opções existem, serialização talvez?

Obg