実家3D

2010

実家の雑多な風景をモチーフにしたライブパフォーマンスのためのソフトウェア作品。写真や3Dモデルで再現された日用品のオブジェクトに、1つずつサウンドファイルが割り当てられていて、パノラマ撮影で撮影された実家の3D空間に投げ入れることで映像と音を同時に構成し、演奏していく。


This is a digital work, for live performance, using miscellaneous scenes of a family home as a motif. Everyday objects are reproduced in photographs and 3D models, and each are assigned distinct sound files. By throwing them into the 3D space of the family home - shot with panoramic photography - the images and sounds are composed and performed simultaneously.

2010年より少し前、学部生だったころ、大学ではひろくメディア・アートについて学んでいた。その中でも特にラップトップミュージック、つまりノートパソコン1台で電子音楽を作曲したり、演奏することを中心に制作をしていた。そうした領域で活動するアーティストたちは、しばしば独自のソフトウェアやツールを作り、演奏していた。それは、既存の音楽ソフトウェアでは作れない表現を探るために自然に行われてい方法でもあった。ラップトップでの演奏は、観客からはたんにノートパソコンを操作しているだけにしか見えないため、このようなソフトウェアで演奏するとき、その操作の様子をプロジェクターで投影し、演奏の様子を見せることも重要だった。だから必然的に音と映像を同時に操作するような形式のパフォーマンスへとも繋がっていった。こうした、新しい表現を探るために新しい道具から制作するという方法論は、ラップトップミュージックだけに限らず、メディア・アート自体にそのような姿勢があったように思う。

このころ、Max/MSPやsuper colliderといった音楽プログラミング言語で制作したソフトや、PICなどのマイコンで制作した自作楽器を用いてよくライブパフォーマンスをしていた。先輩や同級生、後輩の多くがそうしたソフトウェアやハードウェアの制作と、それを用いたパフォーマンスに慣れ親しんでいて、卒業後も同級生らとよくライブイベントを企画していた。「おんたま」はそんなふうに同級生らが企画して始めたイベントで、卒業してからも数年間開催されていた。

「実家3D」は2008年に制作した「Landscapers」というパフォーマンス作品が元になっている。当時留学生として日本に来ていたサウンドアーティスト、キム・フニダ(Hoonida-Kim)と共作した作品だ。OpenGLで描画された3次元の空間に韓国と日本の都市の風景の写真と、その中でフィールドレコーディングしたサウンドファイルを1つのオブジェクトとして空間に配置し、コラージュのようなサウンドスケープを構成していくという作品だった。この時、プログラムで作られた3Dの空間に、日常の風景のような雑多なイメージを配置していく表現に新鮮さを感じていたと思う。

Processingなどのプログラムによるジェネラティブな表現は、その性質上どうしても幾何形態が多用された抽象的な表現になりがちで、そうした表現ばかりに偏ってしまうことに違和感を感じていた。また、何よりも普段見慣れていた実家のごちゃごちゃとした風景を改めて見なおしたときに、そのノイズや意味の過剰さに魅力を感じたことを覚えている。作品には、様々な問題がパラメーターのように含まれていて、その中には作品が前提としていたり、作品自体が規定する仮想的な人間像が感じられる時がある。それを具体的な生活と切り離せない、具象的な人間として描きたかったということもあったと思う。

そうしたことが実家3Dを作る背景にあったように思う。元になった「Landscapers」のプログラムはObjective-Cで書かれていたが、それをProcessingで書き換え、「実家3D」が出来上がった。初期のライブでは帰宅してから自室に入るまでの一人称視点の実写映像を上映し、それから実家3Dのアプリケーションを起動するという手順で演奏を開始していた。画面の中に描かれるバーチャルな実家への導入としてそのような構成を考えていたのだと思う。その後2019年に制作した「やわらかなあそび」という作品でも同様の手順を踏んでいて、この頃から同じような問題を考えていたのだと思う。

2010年に最初に発表したあと、実家3Dはバージョンアップを繰り返しながら色々な場所でのライブパフォーマンスに使用した。また、自身の演奏だけでなく、映像だけを使用してさまざまな場所でVJも行った。その後、ホリー・ハーンドン(Holly Herndon)から依頼を受け、ライブでのVJとしてプログラムを提供し、各地で使用された。それが後にChorusという曲のミュージックビデオへと繋がっていく。

Shortly before 2010, when I was an undergraduate student, I studied media arts extensively at university. I focused on laptop music, in other words, composing and performing electronic music on a single laptop computer. Artists working in this field often create and perform using their own specialized software and tools. In some ways, this is a natural byproduct of exploring sounds that cannot be invoked with existing music software. When performing on a laptop, it's important to use a projector to show oneself manipulating the software, otherwise it appears to the audience that one is merely operating a laptop computer. This inevitably leads to a form of performance in which sound and images are linked, and manipulated simultaneously. This methodology of searching for ways to create from new tools, in order to explore new forms of expression, is not limited to laptop music, but applies to media art itself as a whole.

At that time, I often gave live performances using software created with music programming languages such as Max/MSP and SuperCollider, and self-made instruments created with microcontrollers such as PICs. Many of my classmates were familiar with and fond of the creation of such software and hardware, and performances using them, and after graduation I often organized live events with them. Ontama was one such event that was organized and started with these classmates, and was held for several years after their graduation.

The idea for Parents' Home 3D originally came from a performance piece I created in 2008, named Landscapers. This work was created in collaboration with Hoonida-Kim, a sound artist who was in Japan as a foreign exchange student at the time. It consists of photographs of Korean and Japanese urban landscapes, rendered using OpenGL, and field-recorded sound files which are then placed as a single object in 3D space. This work presented itself as something like a collage-like soundscape. At that time, I think I felt something refreshing in the expression of placing unfiltered, disorganized imagery like everyday scenery, in a 3D space created by a program.

Generative content, created using programs such as Processing, by nature tends to take on abstract forms composed of repeated geometric shapes, and I was dissatisfied in my bias towards using these kinds of forms. I also remember that, more than anything else, I was attracted to the excess of noise and meaning in the familiar, cluttered landscape of my parents' house. Generative artworks contain a variety of issues, functioning like parameters or restrictions, that predetermine the virtual human image that feels distinctly non-real. I remember wanting to depict them as real human beings, inseparable from their actual, real-world lives.

This was all in the back of my mind during the creation of Parents' Home 3D. The original Landscapers program, written in Objective-C, was rewritten in Processing to create Parents' Home 3D. Early versions of the artwork consisted of a first-person-perspective live-action video, of one returning home, entering his room, then launching the Parents' Home 3D application. Such a composition was perhaps intended to serve as an introduction to the virtual family home depicted on the screen within the work. My 2019 work Softplay, followed a similar formula, which makes me think I have been considering the same themes since then.

After its first presentation in 2010, Parents' Home 3D was shown in various live performances, and with updates. In addition to these audio-visual performances, I also VJ'd using only the visual component. Eventually, I was commissioned by Holly Herndon to VJ her live performances, in which the piece was used on many occasions. This later led to the creation of a music video for her track Chorus.

実家3D 初期のバージョン

実家3D ver2.0