Quanto à modificação do comportamento do Enter, talvez você possa usar um InputMap / ActionMap
Javadoc wrote:
As for all JComponent classes, you can use InputMap and ActionMap to associate an Action object with a KeyStroke and execute the action under specified conditions.
Referência: http://docs.oracle.com/javase/6/docs/api/javax/swing/JTable.html
Quanto a esse evento que você quer capturar, talvez seja interessante ler o texto completo do Java Tutorial a respeito de JTables,
http://docs.oracle.com/javase/tutorial/uiswing/components/table.html
para ver o que pode ser feito.