O tamanho setado foi 1280x768. Porém, quando eu vou medir o tamanho da tela, mostra apenas 1274x739. Por que isso acontece e como eu resolvo esse problema?
O que ocorre é que o java não usa, efetivamente, pixels para definir o tamanho do JFrame.
Digamos, é uma medida quase exata, quase shing ling, entende?
Assim sendo, dificilmente você terá as medidas exatas que definiu, por conta do próprio java.
Não, é que o setSize não leva em conta o tamanho das bordas da janela (os insets), que pode variar de um Look and Feel para outro.
Entretanto você consegue obter o valor dos insets e ajustar o cálculo do tamanho.