Spring Boot com dois Dois Bancos

Configurei uma aplicação inicialmente com apenas um Banco o SQLite e não ocorria nenhum problema dai precisei que a aplicação comunicasse com mais um banco o SQL Server, fiz as configurações necessárias para isto porém agora ao levantar a aplicação estou observando um problema no SQLite , ele esta com a configuração para o Hibernate hibernate.hbm2ddl.auto como update, lógico que em produção não ficara desta forma mais observo um erro ao subir porque ele tenta recriar as tabelas

org.hibernate.tool.schema.spi.CommandAcceptanceException: Error executing DDL "create table Config (id integer not null,..... primary key (id))" via JDBC Statement
Caused by: org.sqlite.SQLiteException: [SQLITE_ERROR] SQL error or missing database (table Config already exists)

Alguém sabe sobre isto? será que eu configurei algo errado? ou será que foi uma má ideia usar o sqlite? usei este banco porque a aplicação é bem pequena apenas um utilitário para fazer umas tarefas.

public class PrimaryDataSourceConfiguration {

    @Primary
    @Bean(name = "primaryDataSourceProperties")
    @ConfigurationProperties("spring.datasource-primary")
    public DataSourceProperties primaryDataSourceProperties() {
        return new DataSourceProperties();
    }

    @Primary
    @Bean(name = "primaryDataSource")
    @ConfigurationProperties("spring.datasource-primary.configuration")
    public DataSource primaryDataSource(@Qualifier("primaryDataSourceProperties") DataSourceProperties primaryDataSourceProperties) {
        return primaryDataSourceProperties.initializeDataSourceBuilder().type(HikariDataSource.class).build();
    }

    @Primary
    @Bean(name = "primaryEntityManagerFactory")
    public LocalContainerEntityManagerFactoryBean primaryEntityManagerFactory(
            EntityManagerFactoryBuilder primaryEntityManagerFactoryBuilder, @Qualifier("primaryDataSource") DataSource primaryDataSource) {

        Map<String, String> primaryJpaProperties = new HashMap<>();
        primaryJpaProperties.put("hibernate.dialect", "br.com.dominio.monitor.config.SQLDialect");
        primaryJpaProperties.put("hibernate.hbm2ddl.auto", "update");
                
        return primaryEntityManagerFactoryBuilder
                .dataSource(primaryDataSource)
                .packages("br.com.dominio.monitor.model.primary")
                .persistenceUnit("primaryDataSource")
                .properties(primaryJpaProperties)
                .build();
    }