Проблема апскейлу

У вас є фото 500×500. Потрібно 2000×2000 — для друку, ретина-екрана, банера. На фото 250 000 пікселів. Потрібно 4 мільйони. Відсутні 3,75 мільйона пікселів мають узятися звідкись.

Це і є проблема апскейлу. Ви не можете створити інформацію, яку не зафіксовано, — але можете її оцінити. Якість оцінки визначає, чи виглядатиме збільшене зображення різким, чи як розмита маса.

Чому наївний апскейл не працює

Найпростіший підхід: дублювати кожен піксель. Зображення 500×500 стає 1000×1000 перетворенням кожного пікселя на блок 2×2. Результат піксельний — блочний, з видимими квадратами. Це інтерполяція «найближчого сусіда», і так робив кожен переглядач зображень у 1995 році.

Наступний крок: білінійна інтерполяція. Для кожного нового пікселя усереднюють 4 найближчі вихідні пікселі. Результат плавний, але розмитий — краї втрачають чіткість, текст стає м'яким, дрібні деталі зникають. Бікубічна інтерполяція (усереднення 16 вихідних пікселів з кубічною вагою) трохи краща, але все одно створює видимі ореоли на краях.

Фундаментальна проблема: ці методи не знають, що на зображенні. Вони ставляться до кожного пікселя однаково — піксель посеред блакитного неба отримує той самий підхід, що й піксель на краю різкого штриха тексту. Результат однорідно посередній.

Lanczos: базис якості

Передискретизація Lanczos використовує sinc-віконний кернел — математичну функцію, яка в ідеалі ідеально відновлює оригінальний безперервний сигнал із його вибірок. На практиці вона дає різкіші результати за бікубічну, бо краще зберігає високочастотні деталі (краю, текст, тонкі текстури).

Компроміс — обчислення. Lanczos із розміром кернела 3 (стандарт) потребує 36 вихідних пікселів на вихідний піксель (вікно 6×6) проти 16 у бікубічного. Для 4× апскейлу зображення 1000×1000 це 144 мільйони звернень до пікселів. На сучасному CPU це займає 2-5 секунд — прийнятно для одноразової операції, повільно для реального часу.

Lanczos — базис якісного апскейлу. Кожен професійний інструмент — Photoshop, GIMP, ImageMagick — його пропонує. Браузерні інструменти, що використовують Lanczos, дають результати, які майже не відрізнити від десктопних програм.

Апскейл ШІ: обіцянка

ШІ-апскейлери (real-ESRGAN, SwinIR, Topaz Gigapixel) використовують інший підхід. Замість математичної формули вони застосовують нейронну мережу, треновану на мільйонах пар зображень: низько- та високороздільні версії тієї ж фотографії. Мережа навчається «галюцинувати» відсутні деталі — додає текстуру, різкість країв і навіть відновлює текст.

Для певних типів зображень результати вражаючі. Фото обличчя 500×500, збільшене у 4× доброю ШІ-моделлю, може виглядати так, ніби його спочатку зняли у 2000×2000. Модель «знає», як виглядають обличчя, і відновлює пори, волосся та текстуру шкіри, яких не було у вихідному зображенні низької роздільної здатності.

Але є пастка: ШІ галюцинує. Він додає деталі, яких не було в оригіналі — і іноді ці деталі хибні. Розмита номерна табличка, збільшена ШІ, може показати правдоподібний, але неправильний номер. Фото будівлі низької роздільної здатності, збільшене, може отримати вікна та цеглу, яких не існує. Це «зсув моделі» — ШІ створює те, що, на його думку, має бути, а не те, що є насправді.

Коли що використовувати

Використовуйте Lanczos, коли:

  • Потрібне точне, достовірне збільшення (без галюцинацій).
  • Зображення має дрібні деталі, які треба зберегти точно (текст, діаграми, піксель-арт).
  • Потрібні передбачувані, відтворювані результати.
  • Ви працюєте в браузері (без завантаження моделі).

Використовуйте ШІ-апскейл, коли:

  • Зображення — фото поширеного об'єкта (обличчя, пейзажі, будівлі).
  • Ви хочете, щоб зображення «виглядало добре», навіть якщо деталі вигадані.
  • Ви можете завантажити модель на 10-50 МБ.
  • Ви готові погодитися, що збільшені деталі можуть бути неточними.

Для більшості випадків — вебграфіки, старих фото, постів у соцмережах — Lanczos достатній і швидший. Для професійного відновлення фото або друку у великих форматах ШІ-апскейл вартий додаткового часу.

Трюк із різкістю

Будь-який метод апскейлу виграє від проходу різкості після. Причина: апскейл розподіляє оригінальну деталізацію на більше пікселів, що візуально пом'якшує зображення. Легка маска нерезкості — яка виявляє краї та посилює локальний контраст — відновлює сприйману різкість без додавання нової інформації.

Ступінь різкості має значення. Замало — і збільшене зображення виглядає м'яким. Забагато — з'являються ореоли, світлі або темні обведення навколо країв, що виглядають неприродно. Типове налаштування: кількість 0,5, радіус 0,7 пікс, поріг 2. Це підсилює краї без артефактів.

Апскейл для друку

Друк потребує 300 DPI (точок на дюйм). Фото для друку 4×6 дюймів вимагає 1200×1800 пікселів. Фото веброздільної здатності (800×600) треба збільшити в 1,5× по горизонталі та в 3× по вертикалі, щоб відповісти цій вимозі.

Для друку Lanczos із різкістю зазвичай кращий за ШІ. Друк показує кожен піксель — ШІ-галюцинована текстура, що добре виглядає на екрані, може здаватися «неправильною» на папері, особливо для облич і рук, де у глядачів сильні очікування.

Приватність

Апскейл може повністю працювати в браузері. Алгоритм Lanczos — це чиста математика, ніякі дані не залишають пристрій. ШІ-моделі також можуть працювати в браузері через ONNX Runtime Web або TensorFlow.js, хоча завантаження моделі (10-50 МБ) — одноразова затрата. Так чи інакше, жодне зображення не завантажується на сервер.

Майбутнє

ШІ-апскейл швидко вдосконалюється. Апскейлери на основі дифузії (та сама технологія, що й Stable Diffusion) тепер можуть створювати 8× збільшення, які візуально не відрізнити від нативних фото високої роздільної здатності — для правильних типів зображень. Компроміс — швидкість: дифузійний апскейл займає 10-30 секунд на GPU, хвилини на CPU.

Поки що практичний вибір для більшості користувачів — Lanczos + різкість. Це швидко, безкоштовно, працює в будь-якому браузері і дає якість, «достатньо хорошу» для 90% випадків. ШІ-апскейл — правильний вибір, коли якість важить більше за швидкість і коли тип зображення входить до тих, на яких тренувалася модель.