[Spring] Database Initialization : schema.sql과 data.sql

🌱 문제 상황

페어 프로그래밍을 진행하면서, 분명 테스트 코드 각각을 실행했을 때는 잘 돌아갔는데 전체를 실행하니까 다음과 같은 오류를 만났었다.

Caused by: org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'dataSourceScriptDatabaseInitializer' defined in class path resource [org/springframework/boot/autoconfigure/sql/init/DataSourceInitializationConfiguration.class]: Invocation of init method failed; nested exception is org.springframework.jdbc.datasource.init.ScriptStatementFailedException: Failed to execute SQL script statement #1 of URL [file:/Users/jw/Documents/wooteco/level2/jwp-racingcar/build/resources/main/data.sql]: CREATE TABLE RACE_RESULT ( `race_result_id` BIGINT ( 20 ) UNIQUE NOT NULL AUTO_INCREMENT, `trial_count` int NOT NULL, `winners` VARCHAR ( 50 ) NOT NULL, `created_at` DATETIME NOT NULL default current_timestamp, PRIMARY KEY ( `race_result_id` ) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE =utf8mb4_general_ci; nested exception is org.h2.jdbc.JdbcSQLSyntaxErrorException: Table "RACE_RESULT" already exists; SQL statement:

대충 읽어보면, 이미 테이블이 존재하는데 왜 또 테이블을 생성하냐는 것이다.

당시 data.sql 파일은 아래와 같이 작성되어 있었다.

CREATE TABLE RACE_RESULT
(
    `race_result_id` BIGINT(20) UNIQUE NOT NULL AUTO_INCREMENT,
    `trial_count`    int               NOT NULL,
    `winners`        VARCHAR(50)       NOT NULL,
    `created_at`     DATETIME          NOT NULL default current_timestamp,
    PRIMARY KEY (`race_result_id`)
) ENGINE = InnoDB
DEFAULT CHARSET = utf8mb4
COLLATE = utf8mb4_general_ci;

CREATE TABLE CAR
(
    `car_id`         BIGINT(20) UNIQUE NOT NULL AUTO_INCREMENT,
    `name`           VARCHAR(10)       NOT NULL,
    `position`       int               NOT NULL,
    `race_result_id` BIGINT(20),
    PRIMARY KEY (`car_id`),
    UNIQUE uk_car_name_race_result_id (`name`,`race_result_id`),
    FOREIGN KEY (`race_result_id`) REFERENCES RACE_RESULT (`race_result_id`)
) ENGINE = InnoDB
DEFAULT CHARSET = utf8mb4
COLLATE = utf8mb4_general_ci;

사실 처음에는 왜 오류가 발생했는지 이해할 수가 없었다. 

개별 테스트는 잘 돌아갔기 때문에 테스트마다 테이블을 생성하고, 테스트가 끝나면 해당 테이블은 drop 시키는 형태이기 때문에 문제가 생기지 않을 것이라고 생각했다. + data.sql이 정확하게 뭘 하는 친구인지도 이해하지 못했다 😅

그래서 이를 계기로 한 번 찾아보고자 한다.

 

---

 

✔️ Spring Boot Data Initialization

스프링 부트에서는 데이터베이스 초기화를 위한 다양한 방법들을 제공한다.

이번 미션에서는 기본 SQL 스크립트를 활용하였지만, JPA를 활용할 때는 어떻게 하는지 궁금해서 같이 작성해보고자 한다.

 

🌱 JPA / Hibernate

JPA는 DDL을 생성할 때 2가지 기능을 제공하는데, 서버가 start 될 때 해당 데이터베이스에 어떤 식으로 연산을 실행할지 지정해줄 수 있다. application.yml (application.properties)에 정의할 수 있으며, 다음과 같은 옵션을 사용한다.

spring.jpa.generate-ddl (boolean)
spring.jpa.hibernate.ddl-auto (enum)

generate-ddl의 경우 spring.jpa.hibernate.ddl-auto 속성을 사용할지 말지 결정하는 옵션 값이기 때문에 true, 혹은 false로 지정해줄 수 있다. JPA는 기본적으로 @Entity + @Table, @Column 같은 어노테이션을 활용해서 직접 테이블 create 스크립트를 작성하지 않더라도 코드에서 설정한 정보대로 테이블을 생성해줄 수 있다.

 

만약 generate-ddl 기능을 false로 하게 된다면 자동 초기화를 하지 않게 되며, true를 하게 되면 어떤 식으로 초기화를 할 건지 ddl-auto로 설정한다. (근데 ddl-auto를 지정하게 되면 generate-ddl을 true로 명시적으로 지정하지 않아도 알아서 만들어주기는 한다.)

 

+ 자동 초기화라고 해서 좋을 것 같지만... 운영 환경에서는 대부분 false로 하는 게 좋다. (예상치 못한 버그가 발생할 수도 있음 - 이미 운영 중인 서비스의 db를 건드는 건 심각한 오류가 발생할 수 있다.) 웬만하면 DB 테이블을 건드는 작업은 그냥 직접 테이블에 쿼리를 날리는 게 좋다고 생각한다. 

 

ddl-auto의 경우 어떤 속성을 사용할지 지정해줄 수 있다.

update: 기존의 스키마를 유지하면서 변경된 부분에 대해서만 업데이트
validate: 엔티티와 테이블이 정상적으로 매핑이 되었는지만 확인
create: 기존에 존재하는 스키마를 삭제하고 새로 생성
create-drop: 스키마를 생성하고 애플리케이션 종료 시 삭제 
none: 아무런 초기화 동작을 하지 않음

개인적으로 로컬 환경에서는 update, 테스트 환경에서는 create-drop, 개발 환경에서는 validate 정도를 사용하는 게 좋을 것 같다. 특히 create의 경우 웬만하면 사용하지 않는 게 좋다. 참고로, 기본값의 경우 create-drop이기 때문에 만약 본인이 작성한 테이블이 DB에 반영되지 않았다면 해당 옵션이 지정되어 있지 않은지 확인해보자.

 

create나 create-drop으로 옵션이 설정되어 있을 경우, classpath에 존재하는 import.sql이라는 파일을 읽어서 실행한다. 참고로 이건 Spring이랑 관련 없이 Hibernate의 기능이라고 한다. (테스트할 때 조심하라고 적혀있다...)

 

+ JDBC에서는 JDBC url에 나타난 Connection type에 따라서 감지한다고 한다.

 

---

 

🌱 Basic SQL Scripts

스프링 부트는 JDBC DataSource나 R2DBC ConnectionFactory의 DDL script를 통해 스키마를 자동으로 생성하고, DML script를 바탕으로 이를 초기화할 수 있다. 이때, 이러한 초기화 과정은 classpath에 존재하는 schema.sql과 data.sql을 통해 로드된다! 보통 테이블 생성 같은 DDL의 경우 schema.sql을, CRUD 같은 기능은 data.sql을 활용하는 것이 정석이다.

 

꼭 이름이 이렇게 지정될 필요는 없으며, 스프링부트는 schema-${platform}.sql이나 data-${platform}.sql을 찾아서 읽는다.

platform 값의 경우 마찬가지로 application.yml의 spring.sql.init.platform 옵션을 통해 지정이 가능하며, 특정 데이터베이스 환경에 대해서 다른 스크립트를 활용하고 싶을 때 유용하다. (문법이 다를 경우)

 

ex) spring.sql.init.platform=postgresql => schema-postgresql.sql에 매칭!

 

아마 이런 식으로 사용하지 않을까 예상된다. 기본적으로 이러한 DB 초기화는 in-memory db를 사용할 때만 가능하기 때문에, MySQL 같은 다른 데이버테이스에서도 적용하고 싶다면 spring.sql.init.mode = always와 같이 설정해야 한다. 물론, in-memory db에서도 사용하고 싶지 않다면 spring.sql.init.mode=never로 설정하면 된다. 

 

만약 작성한 스크립트에 오류가 발생한다면, 서버는 시작되지 않기 때문에 이러한 것에 대해서도 조정하고 싶다면 spring.sql.init.continue-on-error를 사용하여 제어할 수 있다. 기본값이 false이기 때문에, 스크립트에 상관없이 서버가 실행되기를 원한다면 해당 옵션을 true로 설정하자.

 

---

🌱 Hibernate + Script

만약 hibernate 기반 초기화와 script 기반 초기화를 함께 사용하려고 하면 어떻게 해야 할까? 

물론, 베스트는 같이 사용하지 않는 것이 좋다. 특히 FlyWay 같은 것과 같이 사용하는 건 완전 추천하지 않는다. (향후 릴리즈에서 제거될 예정이라고 한다.)

 

기본적으로 스크립트 기반의 DataSource 초기화는 JPA EntityManagerFactory 빈이 생성되기 전에 수행된다.

그렇기 때문에, 스크립트를 실행한 다음 ddl-auto 옵션이 적용되어 만약 ddl-auto가 create, create-drop이라면 스크립트를 통해 생성했던 테이블들이 drop 되고 다시 생성될 수도 있다.

 

하지만, spring.jpa.defer-datasource-initialization=true로 설정하게 된다면, DataSource에 대한 초기화를 EntityManagerFactory 빈이 생성되고 초기화될 때까지 지연된다. 

 

궁금해서 다음과 같은 실험을 해보았다.

@Entity
@Table(name = "user")
public class User {
    @Id @GeneratedValue(strategy = GenerationType.IDENTITY)
    @Column(name = "user_id")
    private Long id;

    @Column(name = "user_name", unique = true, nullable = false)
    private String name;
}

간단한 User라는 엔티티를 생성하였다.

 

schema.sql

CREATE TABLE user
(
    user_id   BIGINT(20)          NOT NULL AUTO_INCREMENT,
    user_name varchar(255) UNIQUE NOT NULL,
    PRIMARY KEY (user_id)
) ENGINE = InnoDB
  DEFAULT CHARSET = utf8mb4
  COLLATE = utf8mb4_general_ci;

엔티티와 동일한 스키마를 가지도록 테이블 스크립트를 작성하였다.

 

application.yml

spring:
  datasource:
    // db 설정
  sql:
    init:
      mode: always
  jpa:
    hibernate:
      ddl-auto: create
    show-sql: true
    defer-datasource-initialization: true

과연 이렇게 하면 정상적으로 작동될까? 

 

 

💬 ddl-auto: create + schema.sql + defer-datasource-initialization: true

오류가 발생한다.

EntityManagerFactory이 먼저 생성되고 초기화가 되었기 때문에, @Entity가 붙은 클래스의 정보에 따라서 테이블을 생성했을 것이다. 그리고, 그 다음 schema.sql에 있는 내용으로 테이블을 초기화하려고 했기 때문에 이미 테이블이 존재한다면 오류가 발생한 것이다.

 

 

💬 ddl-auto: create + schema.sql + defer-datasource-initialization: false

그렇다면, defer-datasource-initialization 옵션을 끄면 어떻게 동작할까?

옵션을 끄면 정상적으로 실행은 된다.

다만, schema.sql을 통해 생성된 테이블을 먼저 drop 시키고 ddl-auto를 통해 새롭게 테이블이 생성된 것을 볼 수 있다.

 

그럼, 이 상황에서 data.sql을 추가해보자.

 

data.sql

INSERT INTO user(user_name) VALUES ('테스트이름');

 

💬 ddl-auto: create + schema.sql + data.sql + defer-datasource-initialization: false

결과를 보자. 아무것도 삽입이 되지 않은 것을 볼 수 있다.

위에서 말했던 것처럼, 옵션을 끈 상태이기 때문에 datasource에 대해서 먼저 초기화되어 테이블 생성 후 insert까지 진행하지만, ddl-auto로 인해서 다시 기존에 있던 테이블이 drop 되고 재생성되기 때문에 데이터가 사라지게 된다.

 

그렇다면, 옵션을 다시 true로 설정하고 오류 발생을 막기 위해 schema.sql을 제거하자.

 

 

💬 ddl-auto: create + data.sql + defer-datasource-initialization: true

사실 가장 많이 사용하는 예시일 것 같다. (로컬 환경에서)

간편하게 테이블 생성 후, 샘플 데이터를 insert 해야 하는 상황이라면 위와 같이 활용하면 좋을 것 같다.

 

---

 

🌱 그렇다면 처음의 문제 상황은 왜?

이건 개인적인 생각이라 조금 더 생각이 정리되면 수정할 예정이다. (아직 테스트 쪽의 정확한 동작 원리를 모르겠다...)

 

@SpringBootTest의 경우 실제 애플리케이션을 올리기 때문에 동일하게 data.sql이 먼저 읽어와서 테이블을 생성하였을 것이다.

하지만 테스트마다 서버를 띄우더라도 바라보고 있는 데이터베이스 자체는 동일할 것이고 (h2), 테스트는 동시에 실행된다.

 

그래서 @SpringBootTest가 붙은 어떤 테스트에서 서버를 띄우며 data.sql을 통해 테이블을 생성했는데, 또 다른 @SpringBootTest가 붙은 테스트가 서버를 띄우며 data.sql을 읽어 테이블을 생성하려고 나니 오류가 발생했던 게 아닐까 싶다.

(보통은 테이블 생성 자체를 테스트하기 보단, 테스트 독립성은 롤백을 통해 생성된 테이블의 컬럼이 남지 않도록 하는 게 일반적이니까...)

 

갓 말랑이랑 대화를 나누고 생각이 정리되었다.

Spring Boot에서 테스트 환경을 구축할 때 bean이 여러 개가 등록된다면 ApplicationContext가 필요하고, ApplicationContext는 곧 테스트에서 사용되는 bean으로 구성된다. 이때, 테스트마다 새로운 ApplicationContext를 생성한다면 당연히 성능적으로 좋지 않을 것이기 때문에, 같은 bean을 사용하거나 오염되지 않았을 경우 캐싱을 하게 된다. (캐싱에 대해서도 한 번 찾아봐야겠다.)

 

그래서 @SpringBootTest 자체의 문제라기보단, 테스트에서 필요한 빈이 달라졌다든지, mock 등을 통한 오염으로 인해 기존의 db를 사용하고 있음에도 새로운 ApplicationContext를 구성하는 경우 data.sql을 한 번 더 읽으면서 동일한 db에 한 번 더 테이블을 create 하면서 오류가 발생했던 것으로 추측된다!

 

CREATE TABLE IF NOT EXISTS RACE_RESULT
(
    `race_result_id` BIGINT(20) UNIQUE NOT NULL AUTO_INCREMENT,
    `trial_count`    int               NOT NULL,
    `winners`        VARCHAR(50)       NOT NULL,
    `created_at`     DATETIME          NOT NULL default current_timestamp,
    PRIMARY KEY (`race_result_id`)
) ENGINE = InnoDB
DEFAULT CHARSET = utf8mb4
COLLATE = utf8mb4_general_ci;

CREATE TABLE IF NOT EXISTS CAR
(
    `car_id`         BIGINT(20) UNIQUE NOT NULL AUTO_INCREMENT,
    `name`           VARCHAR(10)       NOT NULL,
    `position`       int               NOT NULL,
    `race_result_id` BIGINT(20),
    PRIMARY KEY (`car_id`),
    UNIQUE uk_car_name_race_result_id (`name`,`race_result_id`),
    FOREIGN KEY (`race_result_id`) REFERENCES RACE_RESULT (`race_result_id`)
) ENGINE = InnoDB
DEFAULT CHARSET = utf8mb4
COLLATE = utf8mb4_general_ci;

그래서 결과적으로는 IF NOT EXISTS를 붙여주어, 이미 테이블이 존재할 경우 생성하지 않도록 만들어주었다.

 

역시 Spring에 대해 아직 모르는 게 너무 많다...

열심히 공부해야겠다!