#장애대응
장애대응 태그가 붙은 글 6편. · 전체 태그 보기
- 누락 0건을 전수로 검증한 PR이, 주석 한 줄로 분석을 세 시간 멈췄다 26만 건 소급 재생성을 위해 락·롤링 배포·누락 행까지 따진 PR이었다. 마지막에 넣은 정렬 변경의 주석 안 치환 자리 하나가 SQL을 깨뜨렸고, 테스트 네 개는 전부 통과했다
- 빈 배열 하나가 한도 도달을 일반 실패로 만들었다 새벽 두 시간 동안 프로젝트를 가리지 않고 잡이 전부 실패했다. 남은 문구는 한 줄이고 원인 자리가 비어 있었다. 그리고 그걸 고치자 공시 본문의 "429억원"이 전역 정지를 부를 수 있게 됐다
- 돌아온 첫 시간에 로그 2.5개월치를 날렸다 두 달 만에 연 DGX Spark 세션에서 "로그 확인해줘"가 컨테이너 재생성으로 이어져 334MB가 사라졌다. 살아남은 건 다른 시스템이 우연히 보고 있던 14일치
- 도커 볼륨을 통째로 날렸다 — AI는 경고했고, 지운 건 나였다 Docker.raw를 지워 로컬 postgres가 전멸한 뒤, 복구 대신 공용 인프라를 새로 세운 기록
- 컨테이너 메모리 제한을 걸어놨는데 장비가 통째로 멈췄다 DGX Spark에서 도커 메모리 제한이 통하지 않아 26B LoRA 학습이 장비를 통째로 멈춘 15시간짜리 사고와 두 겹 방어 기록
- 두 AI가 서로를 탓했다 — 프로젝트마다 에이전트를 붙였을 때 생기는 일 프로젝트마다 붙인 에이전트가 각자 자기 로그만 보고 결백을 주장해서, 양쪽 로그를 겹쳐 놓고 결론을 낸 기록