업스케일링 문제
500×500 사진이 있다고 합시다. 이것을 2000×2000으로 만들고 싶습니다 — 인쇄용, 레티나 디스플레이용, 배너용으로요. 사진에는 25만 픽셀이 있습니다. 필요한 건 400만입니다. 부족한 375만 픽셀은 어디선가 와야 합니다.
이것이 업스케일링 문제입니다. 캡처되지 않은 정보를 만들어낼 수는 없지만 — 추정은 할 수 있습니다. 추정의 품질이 업스케일된 이미지가 선명하게 보일지, 흐릿한 뭉치로 보일지를 결정합니다.
단순한 업스케일링이 실패하는 이유
가장 단순한 접근: 각 픽셀을 복제하세요. 500×500 이미지는 각 픽셀을 2×2 블록으로 만들어 1000×1000이 됩니다. 결과는 픽셀화 — 블록 모양에 보이는 사각형들입니다. 이것이 “최근접 이웃” 보간법이고, 1995년 모든 이미지 뷰어가 하던 방식입니다.
다음 단계: 바이리니어 보간법. 각 새 픽셀에 대해 4개의 가장 가까운 소스 픽셀을 평균합니다. 결과는 부드럽지만 흐릿합니다 — 엣지의 정의가 사라지고, 텍스트가 뭉개지며, 미세한 디테일이 사라집니다. 바이큐빅 보간법(3차 가중치로 16개의 소스 픽셀 평균)은 약간 더 낫지만, 여전히 엣지 주변에 보이는 후꼬(halo)를 만듭니다.
근본적인 문제: 이 방법들은 이미지가 무엇인지 모릅니다. 모든 픽셀을 동일하게 취급합니다 — 파란 하늘 한가운데 픽셀이나 날카로운 텍스트 스트로크 엣지의 픽셀이나 같은 취급입니다. 결과는 균일하게 평범합니다.
Lanczos: 품질 베이스라인
Lanczos 리샘플링은 sinc 윈도우 커널을 사용합니다 — 이론상 샘플에서 원래의 연속 신호를 완벽하게 재구성하는 수학 함수입니다. 실제로는 고주파 디테일(엣지, 텍스트, 미세한 텍스처)을 더 잘 보존하여 바이큐빅보다 더 선명한 결과를 만듭니다.
트레이드오프는 연산량입니다. 커널 크기 3(표준)의 Lanczos는 출력 픽셀당 36개의 소스 픽셀(6×6 윈도우)이 필요하고, 바이큐빅은 16개입니다. 1000×1000 이미지를 4배로 업스케일하면 1억 4,400만 번의 픽셀 조회가 필요합니다. 현대 CPU에서 2-5초가 걸립니다 — 일회용으로는 받아들일 만하지만, 실시간으로는 느립니다.
Lanczos는 품질 업스케일링의 베이스라인입니다. Photoshop, GIMP, ImageMagick 같은 모든 전문 도구가 이를 제공합니다. Lanczos를 사용하는 브라우저 기반 도구는 데스크톱 소프트웨어와 거의 구별할 수 없는 결과를 만듭니다.
AI 업스케일링: 약속
AI 업스케일러(real-ESRGAN, SwinIR, Topaz Gigapixel)는 다른 접근을 취합니다. 수학 공식 대신, 수백만 쌍의 이미지(같은 사진의 저해상도와 고해상도 버전)로 훈련된 신경망을 사용합니다. 네트워크는 누락된 디테일을 “환각”하도록 학습합니다 — 텍스처를 추가하고, 엣지를 선명하게 하며, 텍스트까지 재구성합니다.
특정 이미지 유형에서 결과는 놀랍습니다. 좋은 AI 모델로 500×500 얼굴 사진을 4배 업스케일하면 원래 2000×2000으로 촬영된 것처럼 보일 수 있습니다. 모델은 얼굴이 어떻게 생겼는지 “알고” 저해상도 소스가 캡처하지 못한 모공, 머리카락, 피부 텍스처를 채웁니다.
하지만 함정이 있습니다: AI는 환각합니다. 원본에 없는 디테일을 추가합니다 — 그리고 때로 그 디테일은 틀립니다. 흐릿한 번호판을 AI로 업스케일하면 그럴듯해 보이지만 잘못된 숫자가 나올 수 있습니다. 저해상도 건물 사진을 업스케일하면 존재하지 않는 창문과 벽돌이 생길 수 있습니다. 이것이 “모델 편향”입니다 — AI는 실제로 있는 것이 아니라 있어야 한다고 생각하는 것을 만듭니다.
무엇을 언제 쓸까
Lanczos를 쓸 때:
- 정확하고 충실한 업스케일링이 필요할 때(환각된 디테일 없이).
- 이미지에 정확히 보존해야 할 미세한 디테일이 있을 때(텍스트, 도면, 픽셀 아트).
- 예측 가능하고 재현 가능한 결과가 필요할 때.
- 브라우저에서 작업할 때(모델 다운로드 불필요).
AI 업스케일링을 쓸 때:
- 이미지가 일반적인 피사체의 사진일 때(얼굴, 풍경, 건물).
- 디테일이 발명된 것이라도 이미지를 “좋아 보이게” 만들고 싶을 때.
- 10-50 MB 모델 다운로드를 감당할 수 있을 때.
- 업스케일된 디테일이 정확하지 않아도 괜찮을 때.
대부분의 용도 — 웹 그래픽, 오래된 사진, 소셜 미디어 게시물 — 에는 Lanczos가 충분하고 더 빠릅니다. 전문 사진 복원이나 대형 인쇄에는 AI 업스케일링이 추가 시간의 가치가 있습니다.
샤프닝 트릭
모든 업스케일링 방법은 사후 샤프닝 패스의 혜택을 봅니다. 이유: 업스케일링은 원래 디테일을 더 많은 픽셀에 퍼뜨려 시각적으로 이미지를 부드럽게 만듭니다. 가벼운 언샵 마스크 — 엣지를 감지하고 국부 대비를 강화하는 — 는 새로운 정보를 추가하지 않고 인지된 선명도를 복원합니다.
샤프닝의 양이 중요합니다. 너무 적으면 업스케일된 이미지가 부드럽게 보입니다. 너무 많으면 후꼬가 생깁니다 — 엣지 주변의 밝거나 어두운 윤곽선으로 부자연스럽게 보입니다. 일반적인 설정: 양 0.5, 반경 0.7px, 임계값 2. 이는 아티팩트를 도입하지 않고 엣지를 강화합니다.
인쇄용 업스케일링
인쇄에는 300 DPI(인치당 도트 수)가 필요합니다. 4×6인치 인쇄용 사진은 1200×1800 픽셀이 필요합니다. 웹 해상도 사진(800×600)은 이 요구사항을 맞추기 위해 가로로 1.5배, 세로로 3배 업스케일해야 합니다.
인쇄에는 샤프닝을 곁들인 Lanczos가 보통 AI보다 더 낫습니다. 인쇄는 모든 픽셀을 보여줍니다 — 화면에서는 괜찮아 보이던 AI가 환각한 텍스처가 종이 위에서는 “틀리게” 보일 수 있습니다. 특히 관람자가 강한 기대를 갖는 얼굴과 손에서 두드러집니다.
프라이버시
업스케일링은 완전히 브라우저에서 실행될 수 있습니다. Lanczos 알고리즘은 순수 수학이며 — 데이터는 기기를 떠나지 않습니다. AI 모델도 ONNX Runtime Web이나 TensorFlow.js를 통해 브라우저 내에서 실행될 수 있지만, 모델 다운로드(10-50 MB)는 일회성 비용입니다. 어느 쪽이든 이미지는 서버로 업로드되지 않습니다.
미래
AI 업스케일링은 빠르게 개선되고 있습니다. 확산 기반 업스케일러(Stable Diffusion 뒤에 있는 같은 기술)는 이제 적절한 이미지 유형에 대해서는 네이티브 고해상도 사진과 시각적으로 구별할 수 없는 8배 확대를 만듭니다. 트레이드오프는 속도입니다. 확산 업스케일은 GPU에서 10-30초, CPU에서는 몇 분이 걸립니다.
지금은 대부분의 사용자에게 실용적인 선택은 Lanczos + 샤프닝입니다. 빠르고, 무료이며, 어떤 브라우저에서도 실행되고, 90%의 용도에 “충분히 좋은” 품질을 만듭니다. AI 업스케일링은 품질이 속도보다 중요하고, 이미지 유형이 AI 모델의 훈련 대상일 때 올바른 선택입니다.