‘대규모 트래픽 경험’이라는 환상

‘아무도 나에게 대규모 트래픽을 경험시켜 주지 않는다’

이 말의 의미는 알 수 없지만, 도움이 될 수 있다면 나의 이야기를 공유하고자 한다.

내 이야기를 듣고 나면 기대했던 환상이 깨질 수도 있겠다.

서문

주제는 ‘대규모 트래픽’이다.

이 글에서는 ‘트래픽’과 관련된 주요 키워드를 설명하겠다.

키워드는 다음과 같다:

• 유저의 트래픽
• 트래픽이 접근하는 인프라
• 트래픽을 전달하는 시스템
• 시스템에서 발생하는 로그
• 로그 검색 및 시스템 수정용 관리 도구

배경

개발자 초기에 나는 이러한 경험을 했다. 2018년 6월부터 2020년 3월까지였다.

(나도 처음부터 뛰어난 개발자는 아니었다.)

회사는 언급하지 않겠지만, 상장폐지로 인해 많은 직원들이 떠났다.

나는 제대로 된 인수인계도 없이 입사했고, 주어진 일은 인프라 관리와 개발이었다.

우리는 항상 야근을 해야 했고, 힘들었지만 서로를 사랑하며 버텼던 시기였다.

회사는 지금까지도 건재하다.

트래픽

내가 다닌 회사는 게임 퍼블리싱 기업이었다.

• 회사가 개발한 게임을 유통하거나
• 다른 회사의 게임을 유통하는 방식으로 수익을 창출했다.

게임 서버에서 오는 유저의 트래픽을 관리해야 했다.

일 접속자와 동접자 상황

운영하던 게임은 세 개였으며, 일 접속자는 수 만 명에서 수천명 정도였다.

이벤트가 열리면…

이벤트가 열릴 때 수십만명에서 백만명까지 몰렸다.

서버 장애가 빈번하게 발생했지만, 동료들과의 협력 덕분에 극복해 나갔다.

‘우리’는 모든 팀이 함께 일한 결과를 의미한다.

인프라

AWS와 IDC의 배어메탈 장비를 사용했다.

서버의 증설 문제

이벤트 시 서버 장애가 빈번했다.

잘못된 오케스트레이션 구성

문제가 생겼지만 해결에 많은 시간과 노력이 소요됐다.

시스템

MongoDB 문제

MongoDB의 용량이 문제였다.

고생 끝에 문제를 해결했지만, 데이터 유실이 발생했다.

Redis 참사

서버 장애로 인해 복구 작업에 많은 시간이 소요됐다.

로그

로그는 필수적이며 관리가 중요하다.

Redshift 대체

기존 시스템 대신 ElasticSearch를 도입한 결과 비용 절감에 성공했다.

관리 도구

메신저 알림 시스템

간단한 알림 시스템을 구축했다.

마치며

대규모 트래픽 경험은 험난한 과정이다.

결국 이 경험은 이력서에 쉽게 적을 수 있는 것이 아니라, 그만큼의 노력과 고생이 필요하다.

대규모 트래픽을 경험하고 싶다면 도전해 보기를 권장한다.

P.S

“우리 회사는 체계가 없어”라는 불만을 자주 듣는다.

체계가 없는 곳에서도 적응하는 전문가들은 많다.

<원문>

'대규모 트래픽 경험'이라는 환상 - 1부