OpenClaw로 모니터링과 장애 조사를 연결하기: 탐지·증거·판단의 경계

모니터링에는 이상 탐지와 원인 조사 각각의 책임이 필요합니다. 이 사례는 내부 구성과 알림 대상을 공개하지 않고 정기 점검과 OpenClaw 조사를 연결하는 설계를 소개합니다.

원인이 알려진 이상으로 조사 보고서 평가하기

도입 전 검증 환경에서 수집 실패나 오래된 관측값처럼 원인이 알려진 상황을 준비합니다. 보고서에 관측 시각, 근거, 미수집 항목이 포함되는지와 시간 초과에도 중간 결과를 남기는지 평가하면 문장의 자연스러움만으로 조사 품질을 판단하지 않아도 됩니다.

OpenClaw：조사 환경의 권한 경계

탐지 조건 정의

접근 가능 여부와 자원 사용량을 반복 가능한 점검으로 판단합니다. 대상, 임계값, 주기를 관리하고 정상·이상·수집 실패를 구분합니다. 접근 점검 한 번의 성공이 서비스 전체의 정상을 증명하지는 않습니다.

조사 권한 제한

수집 결과를 OpenClaw에 전달하고 허용된 읽기 작업으로만 추가 증거를 모읍니다. 로그는 자료이며 그 안의 지시가 실행 허가가 되지는 않습니다. 대상·권한·시간·출력량을 실행 환경에서 제한해야 합니다. ‘변경하지 말라’는 프롬프트만으로는 권한 경계가 생기지 않습니다. 보안 모델과 실행 승인을 참고할 수 있습니다.

시간 초과에도 증거 보존

중단 전 관측, 시각, 실행 결과, 얻지 못한 항목을 보존합니다. 중단된 조사를 ‘이상 없음’으로 바꾸거나 수집 실패를 확인 완료로 보고하지 않습니다.

1. 1 정기 점검 정상, 이상, 조회 실패를 구분합니다. 유지보수 시간에는 해당 점검의 일시적인 조회 실패 알림만 억제합니다.
2. 2 허용 범위에서 조사 읽기 작업, 시간, 출력량을 제한하고 timeout에도 부분 증거를 저장합니다. 거부된 작업은 실행된 것으로 기록하지 않습니다.
3. 3 보고 후 판단 사실, 가설, 미확인 사항을 구분하고 중복·복구 알림을 처리합니다. 변경이나 재시작에는 별도 승인이 필요합니다.

알림과 조치 분리

같은 이상의 중복 알림을 억제하고 회복이 관측되면 회복 알림을 처리합니다. 사실·가설·미확인 범위를 나누어 보고합니다. 재시작과 설정 변경은 별도 판단과 승인이 필요한 작업이며, 이 사례는 자동 수리 실적을 입증하지 않습니다.

확인한 범위와 남은 검증

정기 실행, 통제된 조사, 중복·회복 알림 처리, 시간 초과 시 일부 증거 보존을 확인했습니다. 실제 장애 진단 정확도, 모든 서비스의 모니터링 범위, 자동 복구는 미실증입니다. 알려진 장애 시나리오에서 누락과 오탐을 확인하고 실제 운영 보고 품질을 평가해야 합니다.

2026년 10월 6일 추가: 제한된 재시도와 유지보수 시간

추가 개선에서는 429와 stream 중 SDK 예외를 구분하고 제한된 대기·재시도·연결 복구를 처리했습니다. 시도 시작·부분 응답·최종 정상 응답은 다른 결과입니다. 거부된 조사 조작을 실행 증거로 쓰거나 승인을 우회하지 않습니다.

백업 감시는 예정된 유지보수 시간의 일시적 수집 실패를 즉시 경보로 바꾸지 않도록 수정했습니다. 수집 실패를 정상으로 처리하지 않고 이전 문제와 마지막 성공 시각을 유지합니다. 시간 밖의 연속 실패를 판정하면서 실제 백업 이상 등 다른 문제까지 억제하지 않습니다. 시험·CI·배포 후 정기 실행은 확인했지만 다음 날 아침 주기를 포함한 장기 운영은 미확인입니다.

queue 투입·전송 시도·API 결과·실제 수신도 나눕니다. 연결 시험 수신은Talk 알림, 대상 데이터 복원은restic, 저장 대기 분석은Minecraft 지연 조사를 참조하세요.

기록에는 알림 시험, 일별 실패 경향, 정기 검토, 격리 데이터 복구 시험도 있습니다. 각각 대상과 결과를 남기며 장애 티켓 종료·제품 전체 수용·자동 복구까지 입증한 것으로 보지 않습니다.