Dúvida hibernate - List X Set

Sempre tive uma dúvida:

Existe uma melhor prática de quando usar List ou Set em mapeamentos de coleções para o Hibernate, JPA? Ou isso é somente regra do mapeamento, aceitando ou não repetições?

Eu sempre uso List porque é mais rápido que um Set, já que não tem a verificação de redundância. A garantia que o dado não vai ser repetir, prefiro que fique no banco de dados através PK.