Apache Hadoop 3.1.4 HA(High Availability) Install Guide with Cloudera guide

과거에 개인적으로 하둡 2~3 버전을 완전분산 모드로 설치를 해보면서 확실히 크게 달라진 점은 없었다. 당시에는 HA구성을 할 필요가 없었는데 이번에 HA 구성을 해보려고 한다.
하지만 프로덕션 환경에서 설치하기위해서 최적의 구성을 생각했어야했는데 개인적으로 생각한 내용과 클라우데라에서 제안한 아키텍처를 보더라도 크게 차이는 없었다.

출처 : 클라우데라 제안 구성

여기서 상황에 맞게 필요한 것만 구성을 하고 결론은 마스터 3대, 배치서버1대, 데이터노드 N대로 구성하고 다음과 같은 룰을 따르고자 한다.

리소스 매니저는 Yarn을 한번 올려보고.. 실제로 사용은 Mesos로 컨트롤 할 것이다. Mesos의 장점이 하둡 클러스터의 구간을 나눠놓고 1번 메소스, 2번 메소스, 3번 메소스 클러스터로 분리운영이 가능한데 이는 서버가 장애가 날때, 혹은 배치들을 분리했을 때 운영상 장점이 있기 때문이다.

대략적인 구조는 이런식으로 가져간다.

마스터1 : 주키퍼 저널노드 네임노드(HA) ZKFC 리소스매니저(HA) 메소스마스터

마스터2 : 주키퍼 저널노드 네임노드(HA) ZKFC 리소스매니저(HA) 메소스마스터

마스터3 : 주키퍼 저널노드 잡히스토리서버 스파크히스토리서버 메소스마스터

슬레이브서버들 : 데이터노드 메소스슬레이브

사실 yarn을 쓸 일은 거의 없긴한데 일단 sqoop이나 다른 프레임워크들과 etl을 하면서 필요할 일이 있으니 넣어두고 ha를 굳이 안해도되는데 간단하니까 해보자. 왠만하면 최소화로 가져가야 서버를 리부팅할때 올려야할 서비스를 빼먹지 않기 때문에 간소화하는 것을 좋아한다.

설치는 자바설치, /etc/hosts, 인증키 배포 등 기본적으로 세팅해놓아야 할 설정들은 모두 되었다고 가정을 한다.

먼저 마스터 3대에 주키퍼를 설치한다. (3.6.2 설치함.)
zoo_sample.cfg를 복사해서 zoo.cfg를 만들고

dataDir=path

server.1=master1:2888:3888

server.2=master2:2888:3888

server.3=master3:2888:3888

적당한 곳으로 세팅한다.

다 되었으면 주키퍼를 띄운다. (./zkServer.sh start)

다음은 바로 하둡이다.

압축을 풀고 

tar -zxvf hadoop-3.1.4.tar.gz

링크를 걸고

ln -s hadoop-3.1.4 hadoop

필요한 환경세팅을 세팅한다.

기존에는 slaves, masters로 나뉘어져있던 파일이 /etc/workers로 통합이 되었고 여기에 datanode가 올라갈 서버들을 적는다.

각각의 서버는 data01, appData01~04로 구성이 되어있고 하둡은 data01에 두고 log나 data를 쓰는 부분은 appData01로 구성한다. 하둡 같은 경우는 os부분만 레이드1(미러링) 하고 나머지는 솔직히 안해도 된다고 본다. 어차피 3복제이고 하둡을 다시 올리는데 큰 리소스가 안들기 때문이다.

그럼 설정파일을 작성하자.

하둡 설정파일들이 default로라도 되어있으면 좋은데 그냥 깡통이라서 사실 하나씩 쓰기가 너무 괴롭다..

hadoop-env.sh에 몇몇 필요한 경로 세팅을 하고 저장한다.

주석을 풀고 커스터마이징해서 작성하면 된다.

HADOOP_CONF_DIR

HADOOP_HEAPSIZE_MAX

HADOOP_WORKERS

HADOOP_LOG_DIR

HADOOP_PID_DIR

HADOOP_SECURE_PID_DIR

다음은 hdfs-site.xml이다.

<configuration>

        <!-- for NameNode -->

        <property>

                <name>dfs.namenode.name.dir</name>

                <value>/appData01/hadoop/hdfs/name,/appData02/hadoop/hdfs/name,/appData03/hadoop/hdfs/name,/appData04/hadoop/hdfs/name</value>

        </property>

        <!-- for DataNode -->

        <property>

                <name>dfs.datanode.data.dir</name>

                <value>/appData01/hadoop/hdfs/data,/appData02/hadoop/hdfs/data,/appData03/hadoop/hdfs/data,/appData04/hadoop/hdfs/data,/appData05/hadoop/hdfs/data</value>

        </property>

        <!-- HA -->

        <property>

                <name>dfs.nameservices</name>

                <value>hadoop-cluster-bdnode</value>

        </property>

        <property>

                <name>dfs.ha.namenodes.hadoop-cluster-bdnode</name>

                <value>namenode1,namenode2</value>

        </property>

        <property>

                <name>dfs.namenode.rpc-address.hadoop-cluster-bdnode.namenode1</name>

        <value>master1:8020</value>

        </property>

            <property>

                    <name>dfs.namenode.rpc-address.hadoop-cluster-bdnode.namenode2</name>

                        <value>master2:8020</value>

            </property>

        <property>

                <name>dfs.namenode.http-address.hadoop-cluster-bdnode.namenode1</name>

                <value>master1:50070</value>

        </property>

        <property>

                <name>dfs.namenode.http-address.hadoop-cluster-bdnode.namenode2</name>

                <value>master2:50070</value>

        </property>

        <property>

                <name>dfs.namenode.shared.edits.dir</name>

                <value>qjournal://master1:8485;master2:8485;master3:8485/hadoop-cluster-bdnode</value>

        </property>

        <property>

                <name>dfs.client.failover.proxy.provider.hadoop-cluster-bdnode</name>

                <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

        </property>

        <property>

                <name>dfs.ha.fencing.methods</name>

                <value>sshfence</value>

        </property>

        <property>

                <name>dfs.ha.fencing.ssh.private-key-files</name>

                <value>/home/scom/.ssh/id_rsa</value>

        </property>

        <property>

                <name>dfs.journalnode.edits.dir</name>

                <value>/appData01/hadoop/hdfs/journalnode</value>

        </property>

        <property>

                <name>dfs.ha.automatic-failover.enabled</name>

                <value>true</value>

        </property>

        <property>

                <name>dfs.blocksize</name>

                <value>268435456</value>

        </property>

        <property>

                <name>dfs.namenode.handler.count</name>

                <value>100</value>

        </property>

        <property>

                <name>dfs.hosts</name>

                <value>/data01/sw/hadoop/etc/hadoop/workers</value>

        </property>

        <property>

                <name>dfs.webhdfs.enabled</name>

                <value>true</value>

        </property>

        <property>

                <name>dfs.namenode.datanode.registration.ip-hostname-check</name>

                <value>false</value>

        </property>

        <property>

                <name>dfs.datanode.du.reserved</name>

                <!-- cluseter variant 90G -->

                <value>96636764160</value>

                <description>Reserved space in bytes per volume. Always leave this much space free for non dfs use.</description>

        </property>

</configuration>

다음은 core-site.xml이다.

<configuration>

        <property>

                <name>fs.defaultFS</name>

                <value>hdfs://hadoop-cluster-bdnode</value>

        </property>

        <property>

                <name>ha.zookeeper.quorum</name>

                <value>master1:2181,master2:2181,master3:2181</value>

        </property>

        <!-- trash -->

        <property>

                <name>fs.trash.interval</name>

                <value>14400</value>

                <description>Number of minutes after which the checkpoint gets deleted. If zero, the trash feature is disabled. </description>

        </property>

        <!-- for HUE-->

        <property>

                <name>hadoop.proxyuser.hue.hosts</name>

                <value>*</value>

        </property>

        <property>

                <name>hadoop.proxyuser.hue.groups</name>

                <value>*</value>

        </property>

</configuration>

다음은 yarn-site.xml 이다.

<configuration>

<!-- Site specific YARN configuration properties -->

        <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

        </property>

        <property>

                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

                <value>org.apache.hadoop.mapred.ShuffleHandler</value>

        </property>

        <property>

                <name>yarn.nodemanager.local-dirs</name>

                <value>/appData01/hadoop/yarn/nm-local-dir,/appData02/hadoop/yarn/nm-local-dir,/appData03/hadoop/yarn/nm-local-dir,/appData04/hadoop/yarn/nm-local-dir</value>

        </property>

        <property>

                <name>yarn.resourcemanager.address.rm1</name>

                <value>master1:8032</value>

        </property>

        <property>

                <name>yarn.resourcemanager.webapp.address.rm1</name>

                <value>master1:8088</value>

        </property>

        <property>

                <name>yarn.resourcemanager.scheduler.address.rm1</name>

                <value>master1:8030</value>

        </property>

        <property>

                <name>yarn.resourcemanager.resource-tracker.address.rm1</name>

                <value>master1:8031</value>

        </property>

        <property>

                <name>yarn.resourcemanager.admin.address.rm1</name>

                <value>master1:8041</value>

        </property>

        <property>

                <name>yarn.resourcemanager.address.rm2</name>

                <value>master2:8032</value>

        </property>

        <property>

                <name>yarn.resourcemanager.webapp.address.rm2</name>

                <value>master2:8088</value>

        </property>

        <property>

                <name>yarn.resourcemanager.scheduler.address.rm2</name>

                <value>master2:8030</value>

        </property>

        <property>

                <name>yarn.resourcemanager.resource-tracker.address.rm2</name>

                <value>master2:8031</value>

        </property>

        <property>

                <name>yarn.resourcemanager.admin.address.rm2</name>

                <value>master2:8041</value>

        </property>

        <property>

                <name>yarn.resourcemanager.fs.state-store.uri</name>

                <value>/appData01/hadoop/yarn/system/rmstore,/appData02/hadoop/yarn/system/rmstore,/appData03/hadoop/yarn/system/rmstore,/appData04/hadoop/yarn/system/rmstore</value>

        </property>

        <property>

                <name>yarn.resourcemanager.hostname.rm1</name>

                <value>master1</value>

        </property>

        <property>

                <name>yarn.resourcemanager.hostname.rm2</name>

                <value>master2</value>

        </property>

        <!-- configure yarn -->

        <property>

                <name>yarn.nodemanager.resource.cpu-vcores</name>

                <value>10</value>

        </property>

        <property>

                <name>yarn.nodemanager.resource.memory-mb</name>

                <value>40960</value>

        </property>

        <property>

                <name>yarn.scheduler.minimum-allocation-mb</name>

                <value>1024</value>

        </property>

        <property>

                <name>yarn.scheduler.maximum-allocation-mb</name>

                <value>24576</value>

        </property>

        <!-- ResourceManager 시작시 state 복구여부 --> 

        <property> 

                 <name>yarn.resourcemanager.recovery.enabled</name> 

                 <value>true</value> 

        </property> 

        <!-- persistent store로 사용할 class --> 

        <property> 

                 <name>yarn.resourcemanager.store.class</name> 

                 <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value> 

        </property> <!-- Zookeeper 서버 리스트 --> 

        <property> 

                 <name>yarn.resourcemanager.zk-address</name> 

                 <value>master1:2181,master2:2181,master3:2181</value> 

        </property>

        <property>

                <name>yarn.resourcemanager.ha.enabled</name>

                <value>true</value>

        </property>

        <!-- ResourceManager가 leader election에 참가할 cluster 이름 지정 -->

        <property>

                <name>yarn.resourcemanager.cluster-id</name>

                <value>rm-cluster</value>

        </property>

        <!-- cluster에서 HA를 구성할 ResourceManager id 지정 -->

        <property>

                <name>yarn.resourcemanager.ha.rm-ids</name>

                <value>rm1,rm2</value>

        </property>

</configuration>

다음은 mapred-site.xml이다

<configuration>

        <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

        </property>

        <!-- mapreduce2 memory setting -->

        <property>

                <name>yarn.app.mapreduce.am.resource.mb</name>

                <value>1536</value>

        </property>

        <property>

                <name>mapreduce.map.memory.mb</name>

                <value>4096</value>

        </property>

        <property>

                <name>mapreduce.reduce.memory.mb</name>

                <value>8192</value>

        </property>

        <!-- mapreduce java memory setting -->

        <property>

                <name>mapreduce.map.java.opts.max.heap</name>

                <value>3276</value>

        </property>

        <property>

                <name>mapreduce.reduce.java.opts.max.heap</name>

                <value>6553</value>

        </property>

                <property>

                <name>yarn.app.mapreduce.am.resource.mb</name>

                <value>2048</value>

        </property>

                <property>

                                 <name>yarn.app.mapreduce.am.env</name>

                                 <value>HADOOP_MAPRED_HOME=/data01/sw/hadoop</value>

                </property>

                <property>

                                <name>mapreduce.map.env</name>

                            <value>HADOOP_MAPRED_HOME=/data01/sw/hadoop</value>

                </property>

                <property>

                                <name>mapreduce.reduce.env</name>

                                <value>HADOOP_MAPRED_HOME=/data01/sw/hadoop</value>

                </property>

</configuration>

여기까지 하면 하둡 파일은 다 작성이 되었고 이 디렉토리를 마스터2~3, 데이터노드들에 복사를 하자.

scp -r hadoop-3.1.4 ip:/data01/sw/ 

네임노드 HA는 주키퍼로 한 것인데 주키퍼는 가벼우면서도 참으로 편리하다.

zkfc 실행 전 포맷 한번 해주고

hdfs zkfc -formatZK

마스터 1~3번기에서 저널노드 실행

현재 : hdfs --daemon start journalnode 

과거 : hadoop-daemon.sh start journalnode

마스터 1번기에서 네임노드 초기화

hdfs namenode -format

마스터 1번기에서 네임노드 실행

현재 : hdfs --daemon start namenode 

과거 : hadoop-daemon.sh start namenode

마스터 1번기에서 zkfc 실행

현재 : hdfs --daemon start zkfc 

과거 : hadoop-daemon.sh start zkfc

이제 마스터 1번기가 active 상태가 되었다.

이제 마스터 2번기를 standby로 올리자.

마스터 2번기에서 스탠바이상태로 세팅

hdfs namenode -bootstrapStanby

마스터 2번기에서 스탠바이 네임노드 실행

hdfs --daemon start namenode 

마스터 2번기에서 zkfc 실행

hdfs --daemon start zkfc

이제 리소스매니저(yarn)을 올린다.

마스터 1번기에서 yarn --daemon start resourcemanager 실행.

마스터 3번기에서 jobhistory server 실행

현재 : mapred --daemon start historyserver

과거 : sbin/mr-jobhistory-daemon.sh start historyserver

마스터 2번기에서도 yarn을 올린다.

yarn --daemon start resourcemanager

마지막으로 데이터노드들에서 노드매니저를 올린다.

yarn --daemon start nodemanager

그림 작업은 끝이났다.

마스터1:50070 혹은 마스터2:50070에 접근을 해보면 active/standby를 확인할 수 있다.

테스트를 해보기 위해서 active namenode를 kill해보면 아직 사용을 안해서 거의 즉시 failover가 되기는 한다. 이제 배치에서도 네임스페이스를 활용하도록 하자!

네임노드 ha와 리소스매니저 ha가 끝이났다.

하둡이 버전이 올라가면서 가장 크게 바뀐 것은 아무래도 명령어가 바뀌고 workers 파일로 바뀌었다는것, 포트가 바뀌었다는 것, 내부적으로는 압축 효율이 바뀌었다는 점 정도인 것 같다. 그리고 ui가 많이 바뀌었다. 적응이 안된다.

만약에 설치를 하다가 제대로 안되면(특히 포맷) 해당 개인이 사용하려고 생성했던 디렉토리를 삭제하고 다시 해보도록 하자. 그 안에 파일들이 이미 만들어져서 사용되고 있기 때문에 안될 가능성이 높다.

아래 명령어로 네임노드 Active/Standby를 확인 가능하다. 한번만 쳐도 알아낼 수 있는 명령어가 있었으면 좋겠다.

hdfs haadmin -getServiceState namenode1

hdfs haadmin -getServiceState namenode2

리소스매니저 Active/Standby 상태 확인은 다음과 같다.

yarn rmadmin -getServiceState rm1

yarn rmadmin -getServiceState rm2

개인적으로 네임노드2대를 VIP로 사용하여 인터페이스를 해야하는 경우가 아니라면 딱히 VIP는 필요없어보이고 어차피 네임스페이스로 접근하여 해결하도록 하자.

2020 Data Conference Speaker로 참여한 후기 (주제 : Spark+Cassandra 기반 Big Data를 활용한 추천 시스템 서빙 파이프라인 최적화)

연초에 항상 1~3년간의 장기 계획, 1달씩 단기 계획을 세우면서 어떤 부분을 새로 혹은 보강하기 위해 레벨업 할지 목표를 정하는데 계획에 없던 컨퍼런스에 연사로 참여하게 되었습니다. 컴퓨터월드/IT Daily에서 주최하고 양재 엘타워에서 진행하기 때문에 큰 컨퍼런스라서 부담이 되었는데 함께 일하는 빅데이터 파트분들과 Azul Systems에서 많이 도와주셨습니다.

(링크:http://www.itdaily.kr/conference/event7.html)

데이터 활용 AI&빅데이터, 보안 트랙 부문에서 발표를 진행했고 아무래도 실무를 하는 입장에서 개발적인 부분을 많이 넣고 싶었고, 카산드라를 많이 사용하기를 바라면서 홍보하고 싶고, 그리고 Zing JVM을 적용하면서 성능상 이점을 본 것들을 소개하고 싶었습니다.

주제는 Spark+Cassandra 기반 Big Data를 활용한 추천 시스템 서빙 파이프라인 최적화로 정했고 발표 내용은 어느 정도 카산드라를 사용하는 입장에서는 꼭 고려해야할 부분이라서 어렵지 않은 부분이지만 분산 환경에서 프레임워크들을 사용하다 보면 누구나 겪을 수 있는 상황이라는 측면에서 제가 경험했던 상황으로 풀어보려고 했습니다. 어떻게 트러블 슈팅을 하고 최적화를 했는지, 코드를 짜더라도 Network&Disk I/O 같은 인프라 환경을 고려해야한다는 것을 주로 설명하고자 했습니다.

그리고 국내에선 Cassandra+Zing 조합으로 레퍼런스가 없어서 이 부분이 가지는 이점을 최대한 설명하고자 했는데 국내에서는 일단 Cassandra를 사용하는 분들이 늘어나기를 기대합니다.

(카산드라 한국 사용자모임 그룹 홍보 : https://www.facebook.com/groups/cassandra.kr)

발표자료 : https://www.slideshare.net/SuseongPark/sparkcassandra-data-pipeline-optimazation-at-recommend-system-for-recommend-system?fbclid=IwAR2-jMhdh-Tf_WbBMFOGOG7h1WbFHTctbVaGqH44CupmbQjngMUj0_ppdzA

Artificial Intelligence - Bayesian Networks

베이지안 네트워크는 원인과 결과가 있는 지식을 그래프 형태로 표현한 것으로 그래프의 노드(사건)와 노드를 화살표로 연결하여 원인과 결과를 표현하고 그런 사건이 일어날 조건부 확률이 주어진다면 이와 관련된 조건 확률을 비교적 효율적으로 계산할 수 있는 모델이다. 즉 원인과 결과에 따른 지식을 포함하는 문제를 해결할 수 있는 모델 중의 하나이다.

이를 활용하면 스팸 필터, 사고 예방 등에 활용할 수 있다.

J. Pearl UCLA 교수의 유명한 예를 살펴보자.

- bill이 밖에 나가서 일을 할 동안 도둑이 들어올 것을 염려하여 Alarm이 울리는 방범 시스템을 설치했다. 그런데 Bill은 방범 시스템이 작동해도 알람 소리를 듣지 못하므로 이웃에 있는 John과 Mary에게 각각 방범 시스템이 작동하면 자기에게 전화를 부탁하였다.

- 방범 시스템은 Burglary와 Earthquake에 Alarm이 울린다.

총 5개의 확률 변수는 위와 같이 그래프로 나타낼 수 있다.

대충 살펴보면 Burglary가 들었을 확률은 0.001이고, Alarm이 울렸을 때 John이 전화했을 확률은 0.9, 알람이 안울렸는데 John이 전화할 경우는 0.05라고 주어져있다.

고로 다음과 같다.

또한 이를 활용한다면 P(Bur|J∨M) 등의 확률을 구할 수 있다.