배경 제거가 어디에나 있는 이유
Amazon의 모든 제품 사진, 모든 프로필 헤드샷, 채팅 앱의 모든 스티커 — 이들은 모두 배경이 있는 직사각형 사진에서 시작했습니다. 배경은 소프트웨어로 제거되었습니다. 2026년에는 이 작업이 너무 빠르고 저렴하게 이루어져서, 어려운 문제라는 사실을 잊기 쉽습니다.
10년 전, 배경을 제거하려면 Photoshop을 열고 400%로 확대한 뒤 펜 도구로 피사체를 직접 추적해야 했습니다 — 사진 한 장당 30분, 그리고도 머리카락 주변에 초록 프린지가 남았습니다. 오늘날 브라우저가 1초 안에, 무료로, 더 나은 품질로 해냅니다. 문제는 “어떻게?”입니다.
세 가지 알고리즘
remove.bg, Canva, Photoshop, 브라우저 기반 도구 등 모든 현대 배경 제거 도구는 세 가지 접근법 중 하나, 또는 그 조합을 사용합니다.
1. 색상 기반 세그멘테이션
가장 단순한 방법. 알고리즘이 이미지의 네 모서리 색상을 샘플링하여(배경으로 간주) 색상 모델을 만들고, 그 모델에 “충분히 가까운” 모든 픽셀을 배경으로 표시합니다. 허용 오차 임계값이 제거의 강도를 제어합니다.
이 방법은 흰 배경의 제품, 맑은 하늘을 배경으로 한 사람, 그린 스크린에서 촬영된 것에 완벽하게 작동합니다. 배경에 여러 색상이 있거나(나무, 군중, 텍스처가 있는 벽), 피사체가 배경과 비슷한 색일 때(흰 소파 위의 흰 고양이) 실패합니다.
2. 알파 매팅을 사용한 플러드 필
두 번째 방법. 알고리즘은 트라이맵을 만듭니다 — 확실히 전경, 확실히 배경, 그리고 엣지의 “알 수 없는” 영역, 세 가지 구역을 가진 대략적인 지도입니다. 그 다음 알려진 구역에서 알 수 없는 구역으로 플러드 필을 실행하여, 엣지 픽셀마다 전경 색상과 배경 색상을 얼마나 포함하는지에 따라 부드러운 알파 값(0에서 1)을 계산합니다.
여기서 CIELab 색 공간이 등장합니다. RGB 거리는 사람이 색을 인식하는 방식과 일치하지 않습니다 — 같은 RGB 거리를 가진 두 초록이 똑같이 보일 수도, 완전히 다르게 보일 수도 있습니다. CIELab(명도, a, b)은 지각적으로 균일합니다 — Lab 공간에서 같은 거리는 같은 정도로 다르게 보입니다. CIELab을 사용하는 배경 제거 도구는 픽셀이 경계의 어느 쪽에 속하는지 더 나은 결정을 내리기 때문에 더 깨끗한 엣지를 만듭니다.
3. AI 의미론적 세그멘테이션
세 번째 방법. 신경망 — 보통 U-Net이나 비슷한 인코더-디코더 구조 — 이 수백만 장의 레이블이 지정된 이미지로 훈련됩니다. “사람”, “자동차”, “개”, “제품”을 의미론적 카테고리로 인식하는 법을 배우고, 배경과 상관없이 피사체의 픽셀 정확도 마스크를 생성합니다.
사람이 있는 사진에는 Google의 경량 모델인 MediaPipe Selfie Segmentation이 브라우저에서 실시간으로 실행되며 GPU가 필요 없습니다. 제품과 객체에는 U²-Net이나 IS-Net 같은 더 무거운 모델이 사용됩니다. 트레이드오프는 품질 vs 속도 vs 모델 크기입니다. 40 MB 모델은 머리카락을 거의 완벽하게 처리하지만 다운로드에 5초가 걸립니다. 2 MB 모델은 즉시 작동하지만 미세한 디테일에서 어려움을 겪습니다.
머리카락이 가장 어려운 문제인 이유
머리카락은 배경 제거의 숙적입니다. 머리카락 한 가닥은 너비 1-2 픽셀로, 대부분의 마스크 해상도 이하입니다. 반투명 머리카락은 전경과 배경 색을 섞어서 어떤 단단한 임계값으로도 분리할 수 없습니다. 그리고 “좋은 머리카락 잘라내기”와 “나쁜 머리카락 잘라내기”의 시각적 차이는 엄청납니다 — 머리 주변의 초록 후광은 즉각적으로 “가짜”라고 소리칩니다.
해결책은 알파 매팅과 색상 디컨태미네이션의 조합입니다. 알파 매팅은 픽셀마다 부드러운 알파 값을 계산하여, 머리카락 가닥이 단단한 선으로 끝나는 대신 점진적으로 투명하게 페이드됩니다. 색상 디컨태미네이션은 합성 방정식을 역산합니다 — foreground = (composite - (1-alpha) × background) / alpha — 엣지 픽셀의 진짜 전경 색을 복원하여 배경에서 스며든 초록(또는 파랑, 회색) 색조를 제거합니다.
파이프라인
상용급 배경 제거 도구는 세 가지 방법을 순서대로 실행합니다.
- 색상 세그멘테이션 — 빠른 첫 번째 패스, 명백한 배경 픽셀 표시.
- 플러드 필 + 알파 매팅 — 엣지를 정제하고 부드러운 알파 값 계산.
- 색상 디컨태미네이션 — 반투명 엣지 픽셀에서 후광 제거.
- 연결 성분 분석 — 가장 큰 피사체 영역만 남기고 떠다니는 노이즈 섬 제거.
사람이 있는 사진에서는 0단계로 AI 셀피 세그멘테이션을 실행합니다 — 마스크의 출발점을 제공하여 색상과 플러드 필 패스의 작업량을 줄입니다.
실패하는 경우
배경 제거는 다음 경우에 실패합니다.
- 피사체가 배경과 비슷한 색일 때. 흰 벽 앞의 흰 셔츠, 초록 잎 위의 초록 도마뱀. 알고리즘은 지각적으로 엣지가 없기 때문에 엣지를 찾을 수 없습니다.
- 배경이 복잡하고 붐빌 때. 나무, 군중, 체인링크 펜스 — 색상이 너무 많아 플러드 필이 처리할 수 없습니다.
- 피사체가 투명하거나 반사될 때. 유리, 물, 플라스틱 — “전경”이 부분적으로 배경입니다.
- 이미지 해상도가 낮을 때. 200×200에서 머리카락 한 가닥은 0.5 픽셀로, 샘플링 한계 이하입니다.
최고의 결과를 얻는 방법
- 균일한 배경으로 촬영하세요. 흰색, 회색, 또는 파란색이 가장 좋습니다. 배경 색이 피사체와 멀수록 잘라내기가 더 깨끗합니다.
- 고해상도 소스를 사용하세요. 2000×2000 이상. 알고리즘은 엣지에서 작업할 픽셀이 필요합니다.
- 모션 블러를 피하세요. 흐려진 엣지는 알고리즘이 추측해야 하는 넓은 “알 수 없는” 영역입니다.
- 머리카락은 무늬 없는 배경을 사용하세요. 무늬가 있는 배경은 머리카락에 스며들어 제거하기 어려운 후광을 만듭니다.
프라이버시
배경 제거는 완전히 브라우저에서 실행될 수 있습니다. 이미지는 업로드되지 않고, 서버는 사진을 보지 않습니다. 색상 세그멘테이션, 플러드 필, 심지어 AI 모델까지 — 모두 기기의 CPU나 GPU에서 실행됩니다. 개인 사진, 가족 초상화, 증명사진, 민감한 이미지에 안전합니다.
미래
다음 프론티어는 비디오의 실시간 배경 제거입니다 — Zoom, Meet, OBS가 품질 차이는 있지만 이미 이를 구현합니다. 알고리즘은 같고, 과제는 초당 30-60 프레임으로 실행하는 것입니다. 브라우저 기반 도구도 따라잡고 있습니다. WebGPU 덕분에 브라우저 탭에서 실시간 4K 배경 제거가 가능해지고 있습니다.
사진의 경우, 문제는 본질적으로 해결되었습니다. 알고리즘은 충분히 좋고, 충분히 빠르고, 충분히 무료라서 “배경 제거”는 원클릭 작업이 되었습니다. 남은 작업은 엣지에 있습니다 — 글자 그대로, 머리카락, 털, 반투명 재질은 여전히 모든 알고리즘을 괴롭히며, 아마 항상 그럴 것입니다.