웹 프로젝트 (IBAS)/서버 장애 기록

520 Error 해결 (Cloudflare)

다음과 같은 오류가 발생했다. 갑자기 모든 서브도메인까지 접속이 안되는 상황 발생 서버는 건드리지 않았기 때문에, 클라우드플레어 관련 문제라고 판단. 클라우드 플레어 관련 설정이 변할 수 있는 것은, 저번에 설정해놨던 프록시 서버 주소라고 판단. (프록시 요청 시 원래 사용자 ip 복원하기) 클라우드플레어 레퍼런스와 비교해보니 역시나 변경되어 있었다. 프록시 서버 ip 목록을 최신화 하니 잘 작동한다.

[서버 장애 (2022-04-01 23:47)] mysql 서버가 죽었다...

[발견시각] 23:47 [상황분석] 17:54 분에 파일 업로드를 동반한 게시글을 업로드함과 동시에 sql 서버가 다운됐다. django 서버는 500 에러 안내 페이지를 뿜뿜 잘 내고 있는것으로 보아,, 어이없지만 아마 sql 서버 용량이 100퍼센트를 초과해서 발생한 것으로 보였다. 당장 서버 접속해서 용량 확인했더니,, usage 100%.... mysql 은 죽어있었다. [대처] 기존의 aws EBS 볼륨을 스냅샷으로 복구 aws EBS 볼륨 크기 확장 ubuntu 에서 해당 확장된 파티션 적용 했더니만 tmp 폴더가 초기화가 되어버렸다. 그래도 무중단으로 해결해보려고 했는데,,, ㅜㅜ 장고서버 소켓 파일을 tmp 폴더에 뒀었는데 사라져버려서 nginx 가 502 에러를 대신 뿜뿜해주었다.... ..

[서버 장애 (2022-01-11 21:20)] 갑자기 다른 TLS 인증서가 적용됐다?! 홈페이지 차단당함 ㅠ

상황 : 07일 금요일 저녁, 홈페이지 도메인과 인증서 상의 도메인 불일치로 인해 브라우저에서 '신뢰할 수 없는 사이트'로 차단하는 현상 발생. : 인증서가 갑자기 *.inha.ac.kr 학교 인증서가 걸려버림. : 기존 서버는 학교 내부에 위치하고 있었음. 분석 IS 라우팅 오류로 교내 서브넷이 한꺼번에 묶였다? => CIDR 방식의 라우팅 테이블 특성 상 address aggregation 할 때 longest mask 가 우선하기 때문에, 해당 가정은 의미가 없다. => dns 라우팅 오류라기에는 *.inhabas.com 이 모두 잘 접속되었다. 다만 인증서만 기존 것이 아닌 학교 인증서가 걸렸다. nginx 까지는 접속이 잘 되는 상황. 로그를 확인해보니 ssl handshake connectio..

[서버 장애 (2021-09-13 12:22)] uwsgi --ini 과 linux effectiveUser 에 대한 문제

상황 : 프로젝트 폴더를 옮긴 후 기존의 프로젝트 폴더를 삭제하자마자 발생 : 예산 내역과 명예의 전당 페이지 렌더링 중에 not found file or directory 오류 발생 해결 : 2021-09-13 13:15 : uwsgi 프로세스 ini 시, 기존의 작동하던 프로세스가 꼬여서 새로운 프로세스가 nginx와 연결되지 못함. 기존의 프로세스가 nginx 와 붙은 채로 떨어지지를 않음 : uwsgi 관련 모든 프로세스 강제 종료 후 올바른 권한의 계정으로 새롭게 ini 해주었음 분석 : uwsgi ini 시 프로세스의 effective user 권한이 설계와 다르게 움직이면서, 그에 따른 파일들의 권한도 꼬이게 됨.. 추가 방향 : 서버 권한 및 프로세스 effective user 권한을 분석..