@manytomany traz sempre um registro, como mudar mapeamento para @onetoone

Tenho esse codigo abaixo, onde tenho uma tabela chamada servidor que contém o SEQ_REFERENCIA e uma tabela referencias que contém SEQ_REFERENCIA, onde um não é pk e o outro é pk, respectivamente.
A tabela referencias é uma tabela para unir uma n-n entre uma tabela chamda classe e padrao. O objetivo é trazer dados da tabela padrao e classe em seus respectivos objetos

@ManyToMany(fetch=FetchType.LAZY)
    @JoinTable(name="REFERENCIAS"  , 
            joinColumns = @JoinColumn(name="SEQ_REFERENCIA" , referencedColumnName="SEQ_REFERENCIA")  , 
            inverseJoinColumns=@JoinColumn(name="COD_PADRAO", referencedColumnName="COD_PADRAO"  )
    private List<PadraoReferencia> listaPadroes;

Esse mapeamento acima vai trazer sempre um registro na lista . Como eu poderia mudar o mapeamento pra trazer um objeto ? MInha idéia era por mais uma coluna(PK) da tabela servidor nesse mapeando, mas não sei como fazer, caso seja possível…

@OneToOne(fetch=FetchType.LAZY)
    @JoinTable(name="REFERENCIAS"  , 
            joinColumns =  @JoinColumn(name="SEQ_REFERENCIA" , referencedColumnName="SEQ_REFERENCIA" ) , 
            inverseJoinColumns= @JoinColumn(name="COD_CLASSE", referencedColumnName="COD_CLASSE" ,) )
    private Referencia Referencia;

O código acima gera o seguinte erro. No caso SEQ_REFERENCIA não é uma pk, e relacao entre a tabela servidor e referencias é feita somente por esta coluna