Limitar Caracteres - Célula de um JTable

Você sabe trabalhar com TableModel e TableCellEditor?

Se não souber, comece pesquisando por aí…

Basicamente, você terá que criar um TableCellEditor que limita o textfield no tamanho que você quer (usando para isso aquele document, implementando num tópico seu a algum tempo atrás).

Depois, você associa esse editor ao Table e a coluna do model.
E pronto.

Outra alternativa mais simples seria truncar o valor no setValueAt do seu Model. Não impede do usuário digitar coisas a mais, mas ele vê que o valor foi cortado quando fez isso.