[멘토링] 현업에서 겪어보였던 가장 큰 장애와 대응하셨던 방안 (답변희망멘토 : turner.lee)

[sam971114]

🙋질문자

판교 3기 / 7팀(곽쌤과아이들) - sam.kwak(곽민재)/풀스택

🙋답변 희망 멘토

turner.lee(이수민)/[@turner.lee]

---

궁금한 내용

현업에서 겪어보셨던 가장 큰 장애와 그에 대한 대응 방식

현업에서 실제로 겪으셨던 장애 중

서비스 운영에 가장 큰 영향을 주었던 사례가 무엇이었는지,

그리고 그 상황에서 어떤 방식으로 문제를 인지하고 대응하셨는지 궁금합니다.

특히 다음과 같은 부분이 궁금합니다.

• 장애를 처음 인지하게 된 경로 (모니터링 알림, 고객 문의, 내부 로그 등)
• 원인 분석을 어떤 순서로 진행하셨는지
• 임시 조치와 근본 원인 해결을 어떻게 나누어 처리하셨는지
• 장애 상황에서 팀 내 역할 분담은 어떻게 이루어졌는지

---

질문 내용 정리

• 실제 운영 환경에서 가장 위험했던 장애 유형은 무엇이었는지

  (DB, 네트워크, 배포, 외부 API, 트래픽 폭증 등)

• 장애 발생 시 우선순위를 어떻게 정하고

  어떤 기준으로 조치를 진행하셨는지

• 재발 방지를 위해 어떤 시스템적 개선을 진행하셨는지

  (모니터링, 알림, 아키텍처 개선, 배포 전략 등)

---

시도한 방식

팀 프로젝트 및 개인 프로젝트에서는

로그 기반으로만 문제를 추적해보았고,

실제 트래픽 환경이나 운영 장애를 경험해보지는 못한 상태입니다.

따라서 현업에서는 어떤 지표와 도구를 중심으로

장애를 감지하고 대응하는지에 대한 감각을 배우고 싶어 질문드리게 되었습니다.

---

이제 어떻게 하려고 하는지?

멘토님 답변을 바탕으로

• 프로젝트에 기본적인 모니터링 지표를 추가하고
• 장애 상황을 가정한 대응 시나리오를 팀 내에서 공유하며
• 배포 및 롤백 전략을 더 명확히 설계해보려 합니다.

[sam971114]

멘토님 답변 : API 기능을 잘못 배포해 손실을 본적이 있지만 모니터링을 붙여둬 매출 손실이 크지는 않았습니다. 장애 대응 전략을 미리 준비해둘 필요가 있습니다.