기본 콘텐츠로 건너뛰기

8월, 2017의 게시물 표시

사운들리의 데이터 서버 구조 잡기

최근 사운들리는 AWS Redshift 를 사용해서 통계 데이터를 분석하기 시작했습니다. logger 서버가 수집한 로그를 S3  에 저장하고, 이 파일들을 그대로 Redshift 로 올리고, SQL 로 뽑아낸 테이블을 Tableau 로 시각화 하는 방법 입니다. 다른 팀들도 비슷한 방법으로 데이터를 분석하고 계실텐데요, 저희는 기존 시스템을 운용하다가 장애를 만났었고, 혹독한 시절을 거쳐 이를 극복하기 위해 다른 스타트업들을 방문해서 어떤 식으로 하면 좋을지를 자문을 구했었습니다. 기존 시스템 운영부터 장애 발생, 자문 및 개선까지 어떤 일이 있었는지 공유 해볼까 합니다. 기존 시스템저희는 AWS 에서 데이터 수집 서버를 운용하고 있었습니다. 기존 시스템은 다음과 같았습니다. Log Servers 로그 수집, 1차 가공 하여 flume 으로 전송 Flume Servers 수집된 로그를 파일로 저장 ElasticSearch 로 데이터를 전송 Batch Server Flume 에서 로그를 끌어와서 S3 에 전송 SpringBatch 로 데이터 분석 후 MySQL 에 저장 Elastic Search 실시간으로 Flume 에서 데이터를 받아와서 저장