[考えてみる]機械のまなざし

 computer vision

人ではないものが見るということ


http://www.riglondon.com/2011/05/06/the-new-aesthetic/
この画像は「new Aesthetic」というジェームズ・ブライドルによるターム/プロジェクトの中で紹介されているものです。「new Aesthetic」は、デジタルテクノロジーのための視覚的表現が、現実の風景の中に現れてくることで、人間と機械によるハイブリッドな美学が生まれてきている状況を言い表した言葉です。この戦闘機の迷彩は、コンピューターによって解析されたパターンに基づいて作成されています。たんに人間の視認性を下げるだけでなく、デジタル光学機器による距離や速度の解析を惑わす役割も果たしています。つまり、この迷彩の模様はコンピューターによってデザインされ、人とコンピューターに見られることを想定されて作れらています。このような例は戦闘機のような特殊な環境だけにとどまりません。iPhone の顔認証、自動運転の自動車、ゲームのインターフェースなど、私たちの身の回りには数多くのカメラが存在し、それらによって撮影されるイメージは、いちども人が見る事なく、コンピューターがアルゴリズムによって解析し、そこに映る情報を認識しています。べつの写真を考えるために、そうした人の為ではないイメージ、人ではないものによる知覚をも含めて考えてみることが重要かもしれません。

Radiohead - House of Cards (2008) James Frost

The Making-of "House of Cards" video

レディオヘッドのMV House of Cards は、Lidarと呼ばれるセンサーから得られる3次元のデータを用いて製作されました。これは、通常のカメラのような光学的イメージではなく、センサーから得られる対象との距離のデータを、プログラムによって視覚化したものです。

CLOUDS (2014) James George, Jonanthan Minard

http://jamesgeorge.org/CLOUDS DepthKit
2010年、マイクロソフトのゲーム機、Xbox360の周辺機器「Kinect」が発売されました。発売されるやいなや、一部のユーザーがその信号を解析してドライバーを制作。Xbox以外のPCなどでも使用できるようになり、安価なモーションキャプチャーや3Dスキャナとして活用されるようになりました。この「CLOUDS」は、Kinectを使用し、3D撮影によって制作されたドキュメンタリー作品です。

日々の記録 (2013) 谷口暁彦

https://okikata.org/☃/hibinokiroku/
「日々の記録」は、2012年11月ごろから日常の風景を3Dスキャンで記録し、tumblrにアップしていた日記のようなものです。当時、3Dスキャンが普及すると、こうした退屈で個人的な日常の風景が、日記のように記録されていくのではないかと考えていました。この作品で使用したPhotogrammetryという手法は複数の角度から撮影した写真を元に、ソフトウェアが3次元の形態を推測して生成します。その時、写真には写っていない部分をソフトウェアが推測して埋めあわせたりすることで、本来の形とは違う歪んだ形が生まれることがあります。そこには、このソフトウェアのアルゴリズムが持つ、無意識のようなものを感じることができるかもしれません。

スキンケア : 透明感(2015) 谷口暁彦

3Dスキャンを行うと、その対象の凹凸はメッシュデータとして、表面のテクスチャは1枚のテクスチャ画像として生成されます。このテクスチャ画像は、様々な角度から撮影されたデータに基づき、アルゴリズムによって処理され、何らかのルールで一枚の画像に配置されてゆきます。この画像は、あくまでもテクスチャとしてメッシュの上に貼り付けらるデータとして生成される、いわば展開図のようなものです。ソフトウェアや3Dデータのフォーマットに乗っ取って生成されるこの奇妙な画像には、人の知覚のためではない、他者としてのコンピューター/ソフトウェアの質感を強く感じさせます。

Postcards from Google Earth (2010-) Clement Valla

http://clementvalla.com/work/postcards-from-google-earth/
クレメント・ヴァッラは、3Dで表示されるGoogle Earthの地形の中から、奇妙に歪んでいる場所を見つけて、それらを写真作品として残しています。Google Earthで表示される3Dの地形もまた、ソフトウェアのアルゴリズムによって自動的に生成されています。ここには、アルゴリズムによって生み出された奇妙な風景が映し出されています。

Dead Pixel in Google Earth(2008-2010)

http://helmutsmits.nl/work/dead-pixel-google-earth
あまり説明する必要もないかもしれませんが、オランダのアーティスト、ヘルムート・シュミッツはGoogle Earthのデッドピクセル(カメラのセンサーや液晶画面で1ピクセルだけ不具合を起こし、像が欠けてしまう状態)を作り出しました。

Tab. Glitch(2013)UCNV

https://ucnv.org/tabglitch/
デジタルデータとして保存された音声や画像は、そのデータが欠損したりすることで、本来意図されていない状態、「グリッチ(Glitch)」として現れることがあります。日本のアーティストUCNVは長年このグリッチを用いて作品を制作しています。こうして生まれるグリッチした画像には、そのイメージの背後に隠された、ファイルフォーマットのアルゴリズムの質感が現れてきます。

B.C.G.(2006)谷口暁彦

https://www.flickr.com/photos/48v/albums/72157603788137592
B.C.G.は、おもちゃのデジタルカメラをサーキットベンディングして写真を撮影するプロジェクトでした。 サーキットベンディングとは電子機器などの回路を意図的にショートさせることで、思いもよらぬ挙動を生み出す手法です。 そうしたサーキットベンディングによって生まれる電子的なノイズが、カメラ自身の内部的な電気信号によって生み出されることから、こうしたノイズをカメラ自体のセルフポートレートとして捉え、僕自身と、カメラによる二重のセルフポートレートとして作品にしました。

ディープネットワークを用いた大域特徴と局所特徴の学習による白黒写真の自動色付け(2016)飯塚里志, シモセラ エドガー, 石川博

http://hi.cs.waseda.ac.jp:8082
"本研究では,ディープネットワークを用いて白黒画像をカラー画像に自動変換する手法を提案する.提案手法では,画像の大域特徴と局所特徴を考慮した新たな畳込みネットワークモデルを用いることで,画像全体の構造を考慮した自然な色付けを行うことができる.提案モデルにおいて,大域特徴は画像全体から抽出され,局所特徴はより小さな画像領域から計算される.これらの特徴は“結合レイヤ”によって一つに統合され,色付けネットワークに入力される.このモデル構造は入力画像のサイズが固定されず,どんなサイズの画像でも入力として用いることができる.また,モデルの学習のために既存の大規模な画像分類のデータセットを利用し,それぞれの画像の色とラベルを同時に学習に用いることで,効果的に大域特徴を学習できるようにしている.提案手法により,100年前の白黒写真など,様々な画像において自然な色付けを実現できる.色付けの結果はユーザテストによって評価し,約90%の色付け結果が自然であるという回答が得られた."

Cloud Face(2012)Shinseungback Kimyonghun


http://ssbkyh.com/works/cloud_face/
シンスンバック キムヨンフンは、顔認証のアルゴリズムを用い、空を流れる雲を撮影しつづけ、顔として検出された瞬間だけを集めました。人が、さまざまに変化する雲の形のなかに動物や人の顔を見いだすように、アルゴリズムも人の顔を雲の中に見つけだすのです。

The Character and Shape of Illuminated Things (Facial Recognition)(2015)Amanda Ross-Ho

http://circulationexchange.org/articles/illuminated_things.html
アマンダ・ロス・ホウは、写真の照明技術について書かれた古い書籍「The Character and Shape of Illuminated Things」を参照し、その中に作例として登場するマネキンや幾何形態のモチーフを巨大な屋外彫刻として制作しました。さらに、それが公共彫刻として展示される際、スマートフォンのカメラの被写体となることから、そこに顔認識の緑の枠を取り付けました。

CV Dazzle(2010-)Adam Harvey

https://cvdazzle.com
フーリガンによる暴動を未然に防ぐため、スタジアムや音楽フェスの会場に顔認識システムを備えた監視カメラが設置されている場合があります。こうしたデジタルテクノロジーによる監視への防御手段として、アダム・ハーベイはCV Dazzleを制作しました。これは、顔認識のアルゴリズムでは顔として検出できなくするためのメイクやヘアスタイルを提案するプロジェクトです。また、アダム・ハーベイは 「Stealth Wear」というプロジェクトで、無人機(ドローン)の赤外線カメラから隠れるためのフードやヒジャブも制作しています。

REALFACE Glamouflage(2013)Simone Niquille

http://dismagazine.com/blog/49002/facevalue-simone-niquille/
集合写真など、人がの顔が写っている写真をFacebookにアップすると推測される人物のタグがつけられます。 シモン・ニキユは、そうした仕組みを利用して、有名人の顔がいくつもプリントされたウェアを制作しました。これを着て写真に映ることで、Facebookのタグ付けのアルゴリズムを混乱させ、カモフラージュとして機能するでしょう。

How I'm Fighting Bias in Algorithms TEDxBeaconStreet(2016) Joy Buolamwini

https://www.ted.com/talks/joy_buolamwini_how_i_m_fighting_bias_in_algorithms?language=ja

“MITの大学院生ジョイ・ブォロムウィニは、顔認識ソフトを使っていて、ある問題に気づきました。自分の顔が認識されないのです。原因は、アルゴリズムをコード化した開発者が多様な肌の色や容貌を認識するようソフトを訓練していなかったからでした。そこでジョイは、「コード化された視線」と彼女が呼ぶ、機械学習における偏見との戦いに身を投じました。生活のいろいろな側面にアルゴリズムがどんどん入り込んでいる現在、コーディングにも説明責任が求められる、というジョイの主張は新鮮な驚きに満ちています。”

How To Avoid Facial Recognition(2012)Kyle McDonald & Aram Bartholl

http://fffff.at/how-to-avoid-facial-recognition
もっと簡単に顔認証から逃れる方法を、カイル・マクドナルドとアラン・バートルが紹介しています。

Learning to See (2017) Memo Akten

http://www.memo.tv/portfolio/learning-to-see/
メディア・アーティストのメモ・アクテンは、ニューラルネットワークを用いて「海と波」や「雲と空」や「火」「花」など、ある限定的なイメージを学習させたデータセットを作りました。そのデータセットを用いて変哲もない日用品などを認識させると、その学習内容に応じて世界を認識してしまう様子が見えてきます。それはとても当たり前で、さらに、その結果自体はとてもロマンチックにも見えます。しかし、同時にそれはとても限定的で、意図的に貧しく作られた認識システムによって作られたものでもあります。私たちが知り得ない他者の知覚や認識の断絶や、そもそも自分がどのように世界を知覚しているのかについて思いを巡らすと、とても複雑な気持ちになる作品です。

The g Aesthetic(2011-) James Bridle

http://www.webdirections.org/resources/james-bridle-waving-at-the-machines/
いま、デジタルテクノロジーが普及することで、人のもののためではない視覚表現が私たちの現実の空間に現れてきています。そして、私たちがそれに対してさまざまな反応や抵抗(意図的、あるいは意図的でないコラボレーション)をしめすことで、現実の空間が仮想的なものとのハイブリッドな環境になっていることをジェームス・ブライドルは「new Aesthetic(新しい美学)」という言葉で指摘しています。