SaveOrUpdate deletando relacionamento

Estou utilizando hibernate para atualizar uma informação do banco e após o hibernate realizar o update (de forma correta) é realizado um delete da informação da tabela de relacionamento que possui o id que foi feito o update.

Isso eu não queria que acontecesse. O que estou fazendo de errado?

@Id
@GeneratedValue( strategy = GenerationType.IDENTITY )
@Column(name="alert_id", nullable = false, unique = true, length = 10 )
private Integer alertId;

@ManyToMany( targetEntity = ContactVO.class )
@JoinTable( name = "user_x_contact", joinColumns = @JoinColumn( name = "contact_id" ), inverseJoinColumns = @JoinColumn( name = "user_id" ) )
private List<ContactVO> alertContacts = new ArrayList<ContactVO>();

getters .. setters

Gera as querys:
DEBUG org.hibernate.SQL:401 - update alert set alert_date=?, frequency=?, message=?, alert_name=?, send_period=?, user_id=? where alert_id=?
DEBUG org.hibernate.SQL:401 - delete from user_x_contact where contact_id=?