제목부터 강렬합니다.
지금 매우 기분이 나쁩니다…
다시는 경험하지 않기 위해, 다른 분들도 겪지 않도록 하기 위해 글을 쓰게 되었습니다.
replication 3 vs erasure code 2k+1m
사실 ec에도 여러가지 모드(?)가 있긴 하더군요. 하지만 오로지 k와 m을 설정하는 jerasure 플러그인만 홈페이지에 설명 되어있습니다.
저는 두가지가 같다고 생각했습니다.
host 한개가 다운되면 문제 없고, 2개 다운되면 접근이 불가능해지죠.
단지 성능이 낮아지고, 사용 용량이 감소하는 줄 알았습니다.
하지만 osd 두개가 동시에 고장난다면?
replication이면 읽거나 쓰기가 불가능하지만, 복구는 됩니다.
하지만 erasure code는 아니죠.
두개가 동시에 고장날리가 없다구요?
그럴줄 알았죠.
osd 변경하고 있었습니다.
metadata가 너무 커서 data에 쌓이고 있다는 warning이 있었기 때문입니다.
그래서 1번 호스트의 osd를 제거 후 생성하였습니다.
그러던 중 3번 호스트가 비정상 종료되었고, osd가 더이상 켜지지 않게 되었습니다.
결국 엄청나게 많은 데이터를 잃어버렸죠..
답글 남기기