Provavelmente o uso de BOs em si já seria questionável se é uma boa prática ou não.
Respondendo sua pergunta, o uso ou não de um ORM pode ser crucial nessa decisão.
Com um ORM completo (tipo JPA) é muito mais simples manter referência para o objeto (e não para a foreign key) e usar lazy loading para evitar excessos.
Quando você usa apenas um query helper (tipo Mybatis) é mais simples manter apenas referência para a foreign key e carregar o objeto apenas quando se precisa.
Com ORM é mais purista, do ponto de vista OO, só que possivelmente mais custosa (nem sempre fará diferença).