[Relacionamento Objetos + JList] Idéia de criacão de memoria para Objetos em JList

Ola galera,

Estou com um problema ao manipular objetos que tem relacionamento que estao em JLists e preciso criar uma memoria para manipula, bem, vamos aos detalhes:

Tenho 3 Classes, Projeto, Tarefa e Atividade, Projeto tem um relacionamento Unidirecional com Tarefa @OneToOne. Tarefa tem um relacionamento unidirecional com Atividade, @OneToMany.

Ha 2 JList para meu objeto tarefa, uma JList para Tarefas Adicionadas; outra para Tarefas Excluidas, ambas referenciadas ao Projeto.
Ha outras 2 JLists para meus objetos atividade, uma JList para Atividades Adicionadas; outra para Atividades Excluidas referenciado a cada tarefa.

Quando seleciono uma tarefa X da minha JList Tarefa Adicionadas, são listados as atividades em minha JList Atividades Adicionadas referente a minha tarefa X.

Até nesse passo, tudo bem, posso suprimir e adicionar as atividades da tarefa selecionada, porém, se troco para outra tarefa Y e em seguida retorno a minha tarefa X, as atividades continuam a mesma, antes de mudar.

Para isso, pensei em criar uma List ou Set de Atividades Adicionadas e Atividades Excluidas e remover de uma e adicionar na outra,e em seguida fazer um setAtividades(listAtividadesAdicionadas) em meu objeto tarefa X.
Entretanto, se gero mudanca nas atividades das tarefa de X, Y,Z, … , teria que salvar o status de Atividades Adicionadas(Ok, so fazer o setAtividades(listAtividadesAdicionadas) para o objeto) e Atividades Excluidas para cada objeto, e é nesse ponto que parei, não sei o que criar para gerenciar as mudancas em Atividades Excluidas, não consegui achar uma solucão.

Se alguém tiver alguma idéia e puder compartilhar, agradeceria.

Espero que eu tenha sido claro, se precisar de codigo; creio que não é o caso, ou de uma melhor explicacão, so pedir.

Muito obrigado pela atencão e aguardo resposta para discutirmos.