アップスケーリングの問題
500×500の写真があるとします。それを2000×2000にしたい — 印刷用、Retinaディスプレイ用、バナー用に。写真には25万ピクセルあります。必要なのは400万です。足りない375万ピクセルはどこかから持ってこなければなりません。
これがアップスケーリングの問題です。キャプチャされなかった情報を作り出すことはできません — でも推定はできます。推定の品質が、アップスケール画像が鮮明に見えるか、ぼやけた塊に見えるかを決めます。
ナイーブなアップスケーリングが失敗する理由
最もシンプルなアプローチ:各ピクセルを複製する。500×500の画像は、各ピクセルを2×2ブロックに変えて1000×1000になります。結果はピクセル化 — ブロック状で、四角が目に見えます。これは「最近傍」補間で、1995年のあらゆる画像ビューアがやっていました。
次のステップは:バイリニア補間。新しいピクセルごとに、4つの最近傍ソースピクセルを平均します。結果は滑らかですがぼやけます — エッジの定義が失われ、文字が柔らかくなり、細かいディテールが消えます。バイキュービック補間(重み付けを3次で16個のソースピクセルを平均)はわずかに良いですが、エッジ周りに目に見えるハローが生じます。
根本的な問題:これらの方法は画像が何であるかを知りません。すべてのピクセルを同じように扱います — 青い空の真ん中のピクセルも、シャープな文字のストロークのエッジのピクセルも同じ扱いです。結果は一様に凡庸です。
Lanczos:品質のベースライン
Lanczosリサンプリングはsinc窓カーネルを使います — 理論上、サンプルから元の連続信号を完全に再構築する数学的関数です。実用上、高周波のディテール(エッジ、文字、細かいテクスチャ)をより良く保持するため、バイキュービックよりシャープな結果を生成します。
トレードオフは計算量です。カーネルサイズ3(標準)のLanczosは出力ピクセルごとに36個のソースピクセル(6×6窓)を必要とし、バイキュービックの16個と比べます。1000×1000画像を4倍にアップスケールする場合、1億4400万回のピクセル参照になります。現代のCPUで、これは2〜5秒かかります — 1回限りなら許容範囲、リアルタイムには遅いです。
Lanczosは品質アップスケーリングのベースラインです。Photoshop、GIMP、ImageMagickなど、すべてのプロ用ツールが提供しています。Lanczosを使うブラウザベースのツールは、デスクトップソフトウェアとほぼ区別がつかない結果を生成します。
AIアップスケーリング:約束
AIアップスケーラー(real-ESRGAN、SwinIR、Topaz Gigapixel)は別のアプローチをとります。数式の代わりに、数百万の画像ペア(同じ写真の低解像度版と高解像度版)で訓練されたニューラルネットワークを使います。ネットワークは欠落したディテールを「幻覚」するよう学習します — テクスチャを追加し、エッジをシャープにし、文字を再構築することさえします。
特定の画像タイプでは、結果は驚異的です。500×500の顔写真を良いAIモデルで4倍にアップスケールすると、元々2000×2000で撮影されたように見えることがあります。モデルは顔がどう見えるかを「知っており」、低解像度ソースがキャプチャしなかった毛穴、髪、肌のテクスチャを埋めます。
しかし罠があります:AIは幻覚します。元の画像に存在しないディテールを追加します — そして時々そのディテールは間違っています。ぶやけたナンバープレートをAIでアップスケールすると、もっともらしく見えるが誤った数字になるかもしれません。低解像度の建物の写真をアップスケールすると、存在しない窓やレンガが追加されるかもしれません。これは「モデルバイアス」です — AIは実際にあるものではなく、あるべきだと思うものを生成します。
どちらを使うべきか
Lanczosを使う場面:
- 正確で忠実なアップスケーリングが必要(幻覚ディテールなし)。
- 画像に正確に保持すべき細かいディテールがある(文字、図、ピクセルアート)。
- 予測可能で再現可能な結果が必要。
- ブラウザで作業する(モデルダウンロード不要)。
AIアップスケーリングを使う場面:
- 画像が一般的な被写体の写真(顔、風景、建物)。
- ディテールが捏造でも画像を「良く見せたい」。
- 10〜50 MBのモデルダウンロードを許容できる。
- アップスケールされたディテールが正確でなくてもよい。
ほとんどのユースケース — Webグラフィック、古い写真、SNS投稿 — ではLanczosで十分で速いです。プロの写真修復や大判印刷には、AIアップスケーリングが追加の時間に見合います。
シャープ化のトリック
どんなアップスケーリング方法も、その後のシャープ化パスで恩恵を受けます。理由:アップスケーリングは元のディテールをより多くのピクセルに分散させるため、見た目上画像が柔らかくなります。軽いアンシャープマスク — エッジを検出して局所コントラストを強調する — は新しい情報を追加せずに知覚的なシャープさを復元します。
シャープ化の量が重要です。少なすぎるとアップスケール画像が柔らかく見えます。多すぎるとハローができます — エッジ周りの明るいまたは暗い輪郭線で不自然に見えます。典型的な設定:amount 0.5、radius 0.7px、threshold 2。これでアーティファクトを出さずにエッジを強調します。
印刷向けのアップスケーリング
印刷には300 DPI(1インチあたりのドット数)が必要です。4×6インチ印刷の写真は1200×1800ピクセル必要です。Web解像度の写真(800×600)はこの要件を満たすため、水平に1.5倍、垂直に3倍アップスケールする必要があります。
印刷には、シャープ化付きのLanczosが通常AIより適しています。印刷はすべてのピクセルを示します — 画面では問題なく見えたAIが幻覚したテクスチャが、紙の上では「間違って」見えることがあります。特に視聴者が強い期待を持つ顔や手で顕著です。
プライバシー
アップスケーリングは完全にブラウザ内で実行できます。Lanczosアルゴリズムは純粋な数学で、データはデバイスから出ません。AIモデルもONNX Runtime WebやTensorFlow.jsでブラウザ内実行できますが、モデルのダウンロード(10〜50 MB)は一回限りのコストです。いずれにせよ、画像はサーバーにアップロードされません。
未来
AIアップスケーリングは急速に改善しています。拡散ベースのアップスケーラー(Stable Diffusionの背後にある同じ技術)は、今や適切な画像タイプに対してはネイティブ高解像度写真と視覚的に区別がつかない8倍拡大を生成できます。トレードオフは速度です。拡散アップスケールはGPUで10〜30秒、CPUで数分かかります。
今のところ、ほとんどのユーザーの実用的な選択はLanczos + シャープ化です。速く、無料で、どんなブラウザでも動作し、90%のユースケースに「十分な」品質を生成します。AIアップスケーリングは、品質が速度より重要で、画像タイプがAIモデルの訓練対象である場合に適切な選択です。