アールテクニカ地下ガレージ

アールテクニカ株式会社の製品開発・研究開発・日々の活動です

モノクロ映像・写真のカラー化技術 今昔

Author

カムラ


更新に間が空いてしまいましたね。
今回は「モノクロ写真・モノクロ映像のカラー化 今昔」というテーマで書いていきます。
カラー化と言っても、ここでは写真や映像のモノクロ技術からカラー技術への推移という部分よりも、「元々モノクロだった写真・映像をカラー化させて見る」という技術についてまとめていきます。

手作業で着色する ※19世紀後半~現代(主に戦前まで)

写真や映像の歴史は、御存知の通りモノクロ写真から始まり、後にそれが連続写真となり映像となっていったわけですが、モノクロで撮影された写真や映像も、実際に目に見えていた景色はフルカラーで見えていたわけで、どうにか撮影した写真や映像を色がついた状態で他人に見せることができないかという試行錯誤からその後のカラー技術が発展していきました。

その中で最もシンプルに手元のモノクロ写真や映像フィルムをカラーで見せる方法というと、モノクロ写真や映像に手作業で色を塗って着色するという事になります。ハンド・カラーリング(手彩色)とも呼ばれる技術です。

f:id:artteknika_kamu:20171228123816j:plain

日本でも江戸時代末期から明治時代にかけて外国人向けの土産物として数多く作成されており、手彩色絵葉書という名や、横浜写真の名で知られています。
現代でもモノクロ写真のカラー再現のため、形は違いますがPhotoshopなどを使って手作業での着色はおこなわれます。

f:id:artteknika_kamu:20171228124255j:plain

映画、つまり映像においても、手作業でフィルムに映った人物の肌や背景に着色を施しモノクロフィルムのカラー化をされていますが、長大な時間がかかる上、着色部分がまだらになる欠点があります。

フィルムの染色・調色をする ※~1930年代くらい

染色
1秒間におよそ15~24コマのフィルムを使う映像では、手彩色で着色すると時間と手間がかかり大量生産に向いていないため、フィルムそのものの染色が考案されました。

f:id:artteknika_kamu:20171228124307j:plain
画像出典:http://moviechronicle.blog.so-net.ne.jp/archive/c2305586969-1

これは画全体を染め、例えば朝のシーンは薄いブルー、昼はセピアやイエロー、夜は濃いブルー、火災は赤という具合に処理して同じシーン全体が同じ色を帯びるように作業を施したものを上映するという技法です。
後にフィルムにサウンドトラックが付きトーキー映画が普及してくるまで、サイレント映画の時代はメジャーな技法だったようです。

調色
もう一つの技法としては「調色」というものがあります。この方法は、乳剤層の銀粒子を染料(銀ではなく、ほかの金属に置換させるか化合物にする)で黒以外の色調に置き換え、特定の画にのみ着色するというものです。

疑似カラーテレビ ※1962年ごろ

時代は進みテレビ映像の時代に。既にこの時代はカラー映画が普及しています。

ただテレビ放送はカラーへの過渡期で、その時期には、モノクロテレビをカラー化させて観ることができるという商品も現れていたようです。もちろん、疑似カラーテレビということになるのですが。

f:id:artteknika_kamu:20171227162718j:plain
画像出典:http://yamadas.blog.so-net.ne.jp/2015-06-12-3

このカラースコープ(いくつか販売元により名前が違うようです)という商品は、上部から、青・黄・赤と3段に色がついたフィルターで、各色が空の色・人の肌・地面に色をつけることができるというもの。白黒テレビ画面に重ねるとカラーテレビもどきになるという商品です。

おそらく当時のテレビカメラの性能上(16ミリフィルムカメラも併用されていたようです)、照明で光量を確保したスタジオか、外のロケ撮影でも日中に明るい場所で撮影をしなければならなかったはずで、日中のロケ映像が多かったのではと推測されます。そのため空部分にあたるフィルターの上部は青くしておけばカラーぽく見えるだろうという、おおざっぱな部分が感じ取られます。

カラーパターンをグレースケールに置き換えパターン化し、蓄積したデータを元にカラー変換する ※1980年代〜

この時代からは、コンピュータの力で元々モノクロの写真をカラーで再現させようという技術が出てきます。

その中でも神戸のサンメディアという印刷会社が開発した技術が代表的と言えます。
この技術はカラー画像をモノクロ化した時に、どの色がどういう具合のグレー発色をするか、その推移のパターンデータの蓄積を活用し、できる限り着色などの人手を省いてモノクロ写真をカラー化するというものだそうです。

モノクロ/カラー変換-サンメディア

特許情報によると、まずカラー化したいモノクロ写真原稿をスキャナーで読み取り、読み取ったモノクロ写真の画像情報のグレースケール結果を、画像処理によりCMYKのカラーケールに置き換えます。カラースケールに置き換えることによって、モノクロ写真原稿をカラー化に対応させることが可能となるとのこと。
さらに、画像処理装置で得たモノクロ写真の画像情報を、発色装置でシャドウ部分、ハイライト部分のデータ、CMYKの個々の色についてそれぞれ明るさ、コントラスト、色相・彩度等をトーンカーブ、レベル補正、カラーバランス、特定色域の選択チャンネルミキサー等により調節し濃度アップをすることにより違和感のないようなカラー画像を完成させるようです。

機械学習を利用して自動着色する ※2010年代くらい〜

こうしたモノクロ画像や映像をカラー化させて見る技術の流れがあって、最近注目を集めているのは、機械学習を活用したモノクロ写真の自動着色技術です。

結局、着色することが最もシンプルにカラー化できる方法なのですが、写真でも面倒そうです。さらに映像を着色するには、1フレーム1フレームを人間の手で彩色する必要があり、一つの作品を完成させるのに、膨大な時間と手間がかかっていました。
ですがそれをコンピュータの力で機械学習により自動化させるという形で解決しています。


Ridge-iとNHKアートによる白黒映像カラー化AI技術
例えばこちらの株式会社Ridge-iがNHKアートと共同で開発した白黒映像カラー化AI技術は、1カット内の数枚のフレームのみ人間が彩色を行い、その情報を元に、残りのフレームはAIが自動で彩色を行うというもの。

白黒画像をカラー化するAI | ディープラーニングのコンサル・開発は株式会社Ridge-i(リッジアイ)

f:id:artteknika_kamu:20171227193735p:plain
画像出典:http://ridge-i.com/project/colorizer/

この技術では、ディープラーニング手法のうち、GAN(Generative Adversarial Network)と言われる手法をベースとして、機械学習技術の日本企業Preferred Networksが開発しているChainerを使って実装されており、そこに放送品質で使えるべくチューニングがなされているといい、実際にNHKの番組内でモノクロ映像の一部カラー化に使用されています。
結果として、人間がデザインコンセプト作りなど、より効果的な作業に集中することができ、作業効率を高める事ができるとしています。

カラーライズAIを用いたオンプレミス&クラウド環境の比較 | ディープラーニングのコンサル・開発は株式会社Ridge-i(リッジアイ)


Adobeによる自動着色技術 Project Scribbler
また、Adobe ResearchからはAdobeの人工知能「Adobe Sensei」を利用した自動着色技術「Project Scribbler」が10月のAdobe MAXで発表されています。かなり注目されていたのでご存じの方も多いかと思います。

youtu.be
Adobe Research » Project Scribbler

Project Scribblerでは、数千万枚の写真を学習しモノクロ写真、そしてイラストにも色をつけることができます。Adobeのもつ膨大なアーカイブ写真から肌色などを判断するので精度が高く、デモンストレーションの動画を見ると、鞄のモノクロスケッチに対してテクスチャを選択すると、テクスチャをベースにスケッチに馴染んだ形で着色し出力するといったこともできるようです。
Project ScribblerはPhotoshopなどのアプリケーションに実装される日が近いとされていますが、今のところ未定です。

実際に自動着色を試せるもの

この自動着色ですが、実際にweb上で気軽に試せるものもあります。

SIGGRAPH 2016で提案された早稲田大学 理工学術院総合研究所の飯塚里志氏らの白黒写真の自動色付けの研究成果「ディープネットワークを用いた白黒写真の自動色付け」が公開されており、これを試してみることができます。

飯塚里志 — ディープネットワークを用いた大域特徴と局所特徴の学習による白黒写真の自動色付け

GitHub - satoshiiizuka/siggraph2016_colorization: Code for the paper 'Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification'.

※下記リンク先で公式webサービスとしても公開されています
Automatic Image Colorization・白黒画像の自動色付け


飯塚氏らの研究成果の公開を受けて、楽天技術研究所の牟田 将史氏が、公開されているソースコードを使ってwebサービスとして公開しています。今回はパーマリンクで結果のシェアができたためこちらを使わせていただきました。

・「siggraph2016_colorization」 https://colorize.dev.kaisou.misosi.ru/

こちらではグレースケール(モノクロ)画像のカラー画像化を行なうことができ、カラー画像を入力すると、一度色情報が削除されたグレースケール画像に変換した後に、上記の飯塚氏らの手法で自動着色をおこなうというものとなっています。

使用すると、

f:id:artteknika_kamu:20171228120901j:plain
グレースケール画像として変換され、

f:id:artteknika_kamu:20171228120848j:plain
こうなります。

元画像は、こちら
f:id:artteknika_kamu:20171228121117j:plain

結果は下記リンクより確認できます。
http://colorize.dev.kaisou.misosi.ru/result/5f2134e0-1297-4156-b85b-f557bca19224

人工知能、ディープラーニングの可能性を感じさせるには十分な再現力ではないでしょうか。
興味を持たれた方は試してみてください。

まとめ

更新期間が開いてしまっていた間に観た下記の番組がこのまとめのきっかけでした。

www.nhk.or.jp

この番組では先ほど紹介したRidge-iとNHKアートによる白黒映像カラー化AI技術が使用されています。

白黒の世界がカラーになってるいることで、過去モノクロでしか撮影されなかった時代に撮影された空間が、よりリアルに感じられますし、どうにかしてモノクロの世界をカラーで見たいという欲求が、技術を発展させてきたんだなと考えさせられます。

おまけ

・ニューヨーク公立図書館のThe New York Public Library Digital Collections「Photographs of Japan」
明治時代の日本の古写真コレクション110点を集めた「Photographs of Japan」が無料でダウンロードできるように公開されています。着色写真が数多く掲載されていますので、こちらも興味のある方はチェックしてみてください。
Photographs of Japan - NYPL Digital Collections

・線画に自動で着色してくれるサービス「PaintsChainer」
PaintsChainer -線画自動着色サービス-



Author

カムラ

アールテクニカで映像技術担当。大阪の芸術大学で映像を学んだ後、社長に拾っていただきジョイン。社内では映像系のサービスやアプリ企画を作っています。

スポンサーリンク