Spark Read Parquet - Timestamp and Timezone Confusion

Spark 배치에서 Parquet File을 데이터를 읽을 때 timestamp가 +0900시간이 되는 문제가 발생했다. timezone 문제인데 처음에는 win server to linux 마이그레이션 문제인 줄 알았는데 그게 아니었다. (txt로 저장하면 이런 문제가 없다.)

Spark 버전은 2.4.7 이다.

서버에서 timedatectl을 쳐보면 다음과 같다.

Time Zone이 Asia/Seoul (KST, +0900)으로 되어있다.

따라서 Spark에서 Parquet을 읽을 때 KST로 변환해서 읽는 것 같다. 

그럼 간단하게 생각하면.. UTC로 읽으면 해결될 문제이고 분산환경이기 driver, excuter 모두 해결되어야 할 문제 같은데 이 부분이 조금 찝찝하다.

어쨌든 방법 중에 한가지는 Spark Submit을 할 때 아래 옵션을 준다.

--conf spark.sql.session.timeZone='UTC' \

--conf spark.driver.extraJavaOptions='-Duser.timezone=UTC' \

--conf spark.executor.extraJavaOptions='-Duser.timezone=UTC' \

그럼 해결된다.

또 다른 방법은 코드 상에서 spark session을 생성할 때 옵션을 주고 해결이 가능하다.

.config("spark.sql.session.timeZone", "UTC") 

.config("spark.driver.extraJavaOptions", "-Duser.timezone=UTC") 

.config("spark.executor.extraJavaOptions", "-Duser.timezone=UTC")

아래는 공식문서에서 발췌한 내용이다.

Spark internally stores timestamps as UTC values, and timestamp data that is brought in without a specified time zone is converted as local time to UTC with microsecond resolution. When timestamp data is exported or displayed in Spark, the session time zone is used to localize the timestamp values. The session time zone is set with the configuration 'spark.sql.session.timeZone' and will default to the JVM system local time zone if not set.

분산환경이기도 하고 deploy mode에 따라 옵션들이 어떻게 동작하는지는 테스트해볼 필요가 있겠다.

--20210321 추가

송희진님께서 모든 스파크 배치에 일괄적용을 위해 spark_submit에 아래처럼 추가

exec "${SPARK_HOME}"/bin/spark-class org.apache.spark.deploy.SparkSubmit 

--conf spark.sql.session.timeZone='UTC' \

--conf spark.driver.extraJavaOptions='-Duser.timezone=UTC' \

--conf spark.executor.extraJavaOptions='-Duser.timezone=UTC' \

"$@"