DErby vs HSQLDB

HSQLDB é um banco de dados in-memory ou seja não persiste os dados em memória e depois que desligar o servidor você perde tudo, geralmente é muito utilizado em ambientes de testes TDD, em que você precisa testar se seus objetos estão sendo armazenados e consultados corretamente e etc.

Derby, não tenho certeza, mas acho que ele é um banco de dados mais simples e semelhante aos bancos de dados relacionais, e acho que ele persiste em disco os dados, sendo recuperado caso desligue e ligue o servidor.