Hibernate lento devido a campo blob

Ola.
Estou tendo problemas com o hibernate ao fazer uma consulta em uma tabela que possui uma coluna bytea(blob).
A consulta esta extramamente lenta e inviavel, alguem sabe como melhorar essa consulta ?

O banco que estou usando é portgres e o campo conhecido como blob na verdade se chama bytea no postgres.
O mapeamento da tebela esta descrito abaixo:

<hibernate-mapping>
    <class name="br.com.verano.model.persistence.dto.StatusReport" table="status_report" schema="public">
        <id name="pkStatusReport" type="long">
            <column name="pk_status_report" />
            <generator class="sequence">
            	<param name="sequence">seq_status_report</param>
            </generator>
        </id>
        <many-to-one name="project" class="br.com.verano.model.persistence.dto.ProjectBunge" fetch="select">
            <column name="fk_project" not-null="true" />
        </many-to-one>
        <property name="title" type="string">
            <column name="title" length="100" not-null="true" />
        </property>
        <property name="author" type="string">
            <column name="author" length="100" not-null="true" />
        </property>
        <property name="fileName" type="string">
            <column name="file_name" length="100" />
        </property>
        <property name="doc" type="binary">
            <column name="doc"/>
        </property>
    </class>
</hibernate-mapping>

Desde ja muito obrigado

Primeira coisa: se você faz a query direto no banco, fica rápido?