Limitar ou fazer rolar a lista de itens de menu de um JMenu

Olá! Estou desenvolvendo um aplicativo que trabalha com arquivos .properties e ao iniciar a aplicação, um menu é criado para cada arquivo encontrado, mas o problema é que são muitos arquivos e a lista está ultrapassando a tela. O que faço para rolar ou permitir a criação de outra coluna na lista de itens do menu? Obrigado!