ヒトはバッハを見る猿か - Kimiko Ishizaka の "Open" な録音が拓いた人と機械が作る表現領域 - BMI時代の人間性の源泉

ヨハン・セバスティアン・バッハが好きだ。音楽の専門教育を受けたことはないが、幼少期と高校生時代にバイオリンを弾き、今もときどき触る。バッハの思い出は、交換留学生としてスウェーデンにいた高2の冬、クリスマスの教会コンサートで「2つのヴァイオリンのための協奏曲 ニ短調」を演奏したことだ。もし戻れるなら、18才のヨーテボリに戻り、共演した金色の髪の少女の美しさと、2台目のバイオリンとしてパートナーの音を追いかけた楽譜越しの教会の内装を目に焼き付けてみたい。あのころ、もっと美しさに敏感であって、今でも鮮明に思い出せたならどんなにいいだろうかと思う。

ドレミでもB-A-C-Hでも、音に名前をつけることに成功して以来、人類は美しさを探して理論を構築し、それが今の音楽に繋がっている。バッハの作品の作り方は、理論と美しさが一体であることを示すから、その秘密を解くように調べ物をしながら聴くのが好きだ。探求、網羅、実験であり、美しい。平均律クラヴィーア曲集を、50才になるまでに、すべてを弾けるようになるつもりで練習している。

こんな動画を見つけた。

ゴルトベルク変奏曲は、最初に有名なアリアがあり、そのベースラインとコード進行を使った30のバリエーション（変奏）を揃えたもの。Patafractal は、フラクタル構造を持つ幾何学的な模様をズームしていく動画を公開しているスイスのアーティスト。上に貼り付けた動画と一連のプレイリストは、ゴルトベルク変奏曲をフラクタルの動画にしたものだ。

フラクタルの動画をどんな音楽と組み合わせるべきかを考えるとき、バッハを選ぶのは理にかなっている。数学であり、幾何学であり、絞り込むように拡大していくと終わりのない細部が現れてゆく時間を作るフラクタル。度数違いの14のカノンを含み、多様な拍子によってバリエーションが用意されたゴルトベルク変奏曲の幾何学性との組み合わせも妙だ。

そんなことに興味を持って調べてみたら、世界が広がった。

自由でオープンな演奏音源と楽譜

The Open Goldberg Variations プロジェクトは、ピアニスト Kimiko Ishizaka が、ゴルトベルク変奏曲の演奏の録音をパブリックドメインで提供し、誰にでも自由にアクセス・鑑賞・再利用可能にする試み。2012年、楽譜の作成・印刷・再生方法を、ウェブの時代に合わせて再定義する自由ソフトウェアMuseScore と共同で、クラウドファンディングで資金を集め、つぎの目的を達成した。

1. 何百年もパブリックドメインになっている曲が、楽譜と録音で入手・鑑賞できない問題を解決する
2. 演奏が広く頒布されることで利益を生む機会を得られる、新しい録音方法を確立する
3. 人間と楽譜との関わり方（ウェブ時代の楽譜作成・印刷・再生方法）を再定義するオープンソースソフトウェアの開発を進める

オープンソースのソフトウェアに関わりながら働き、友人と利益を得て生活を立て、今の会社もオープンソースの手法を取り入れて価値を得、生み出している者として、音楽の世界でも同じような課題意識や価値観があることを知ってさらに調べた。

バッハの音楽を見る

Kimiko Ishizaka はその後も平均律クラヴィーア曲集、フーガの技法の録音をパブリックドメインにしている。その結果、生まれた成果のひとつがコンピューターを用いた音楽の可視化だ。

下の画像は、平均律クラヴィーア曲集第一巻の最初の曲の響きを見えるようにした動画のキャプチャだ。

アルペジオの各音が、どの度数で重なって響きを作っていくのかが表現されている。響きの美しさが、なぜ美しいのか、聴覚だけではなく視覚からも認識することができる。

フーガの技法の可視化もおもしろい。時と音の流れ、流れの中での音の重なりが見える。

音の高さ、旋律を位置で示し、色によって声部を分け、横に進みながら追いかけあったり重なったりするのが見える。どんなに集中しても、四声を一度に捉えるのには私の脳ではメモリが足りない。が、見えることで理解が進む。

人と機械が融合して新しい美しさを作る

音楽の可視化は、これまでにもコンピューターを使えば可能だった。既存の試みと決定的に違うのは、Kimiko Ishizaka の自分で自分の出す音を聞き、味わい、解釈し直しながら進む知的な演奏と組み合わさることで、人と機械が融合して美しさを高めているところだ。

もっと逐次的に動的に、ロジックと演奏者の工夫を可視化表現するように人工知能は進化するだろう。VRゴーグルをつけて3次元の空間みバッハの音と光が流れる中を飛び回る体験がしてみたい。teamLab がバッハで何かを作るとしたら、現実に音の中を歩くことができるかもしれない。自分でも、なにか企画できるのかもしれない。音楽とコンピューター技術を組み合わせてやれることがどんどん妄想できる世界が広がっていることを知った。何かの偶然でこの投稿を読んでくれた人には、Open Goldberg Project やそれに続く各録音を味わったり、派生して生まれた映像作品でおもしろいと思ったものをシェアするなどして、この試みの存在を広げてほしい。

• https://opengoldbergvariations.org/
• https://music.kimiko-piano.com/
• https://musescore.org/ja
• Open Goldberg のYoutube チャンネル
• キックスターター
• https://www.facebook.com/Open.Goldberg.Variations/

手で演奏する、耳で聴く - 心と身体、BMIと芸術

「聞きながら弾く」は、この動画を見ると伝わるかもしれない。この動画を見て感じるのは、Kimiko Ishizaka が「音を聞きながら弾いている」ということだ。どの演奏家もそうではないかと思われるだろうが、違う。あらかじめ決められた演奏するのではなく、むしろ今自分の音がどう聞こえているのかに主な関心があるという点で違う。ひとつには、演奏対象がバッハであり、上の動画に示されたような音楽のロジック、複雑性、設計を含む音楽だから聞きながら弾く余地があり創造性がある。今日の手の動き、その日のピアノ、観客との関係性、気分によって毎回違う演奏になることを前提に演奏をしている。

ヒトとAIを分けるもの

演奏パフォーマンスに対するこの態度が、脳がコンピューターと繋がった時代における身体性の確保、人間性の確保に繋がる。AIと人間との違いは、身体があるかどうかだ。

BMI (Brain Machine Interface) とは、脳内の信号を読み取ったり、信号を送ったりすることができるデバイスだ。BMIの話を興奮して話すと「MATRIXみたいなことか？」と聞かれることが多いので、今日、MATRIXを見た。後頭部にプラグを接続しているあれはBMIだ。現実世界のトップを走っているイーロン・マスクのNeuralinkはすでに、デバイスの大きさと情報のやり取り方法で映画の先をいっている。大きなプラグではないし、無線通信だ。

BMIの今

Neuralink の説明によれば、脳内の信号を読み取る部分が先行して進んでいる。書き込みはこのあとの仕事のようだ。

読み取った電気信号の固まりの意味は、どのように知るのか。それは、現実のアクションと紐付けられた大量のデータをコンピューターで解析して、特徴を読み取ることによって行う。信号を解釈するのに、ひとつひとつのニューロンの処理内容を知る必要はなく、ただの大量データとして脳の電気信号を扱う。脳に埋め込むデバイスはセンサーであり、センサーから送られてきたデータを傾向解析データとみなして処理してしまえばいいという発明だ。

BMI時代の人間性はどこにあるか - ヒトは、バッハを見る猿か

読み取りだけではなく、「脳に信号を起こさせる」ことができれば、書き込みも可能になり、マトリックス世界の再現であり、人類はかなり近い所まで来ている。私が考えているのは、これが可能になる数十年後に、人間の自由意志、発想、創造性はどういう状態になり、AIと共存するときのヒトに残された人間性の源泉はなにか、という問いだ。

機会によってヒトの脳を読み取り、脳に書き込みもできるとき、人間の自由意志、発想、創造性はどうなり、AIと共存するヒトに残された人間性の源泉はなにか。

バッハを聴きながら、弾きながら、可視化された音の流れを見ながら思いついた、この問いへの答えは「音楽のロジック、複雑性、設計」という創造性のある作品、「今日の手の動き、その日のピアノ、観客との関係性、気分」を感じ取り、具体的に動く人間の身体性、そして「聞きながら弾く」即応的な態度だ。この3つの組み合わせが、カーソルの位置を操ってバナナスムージーを求める猿と人間を分ける。

創造性のある作品とは、世界、他者のことだ。自分ではない、興味を誘うもの。コントロールできないもの。美しいもの。おもしろいもの。理解しようとする意思を誘発するものとしての世界と他者。設計された楽譜、美しくて恐ろしい自然の形、色、匂い、移ろい。自分と同じ人間なのに違う反応をする他者と他者が生み出すすべてのものごと。

身体は、自分を構成するものでありながら完全にコントロールできない。頭や心に身体は支配できない。一方、身体には脳にはない能力もある。モーツァルトが作曲するとき、すでに完成した音楽が天から降ってきたそうだが、その彼であってさえ、BMIを通じていきなり交響曲を演奏するには、脳の処理速度や出力速度は足りない。脳のみで音は出せず、鍵盤を押すことで表現がされる。どんなピアニストも、鍵盤に触れたり指が動くことなしに、音楽を出力することはできない。思うがままの理想の音を脳で作るほど、人間の脳は世界を含んでいない。BMIが完成しても、音を鳴らすにはメモリが足りない。体が思考するのだ。手が鍵盤を押し、弦を抑え、弓を引く。身体性とは限界でもあり、具体でもある。

即応的な態度とは、粒度の細かい自由な意志を持続させる対話的な心の動きだ。創造的なもの、美しいもの、おもしろいもの、知らないものへの興味を持続させ、インタラクティブに関わる動き。一人で演奏するのであっても、世界と身体と対話的に関わる（聞きながら弾く）。会話においては、他の人間の話を聞き、自分の反応に耳を澄ませ、言葉を出してみる。そのときに相手の即応的な態度に期待をする。その繰り返しをするには、世界を感知し、意思を持ち、再帰的に自身を認識して、出力をしてもう一度他者と世界を待つ。

楽譜を見ながら指で音を鳴らし、音を聞きながら音を弾く。パフォーマンス=performance の語源は、"to do, carry out, finish, accomplish"だ。何かをする、出す、終わらせる、達成するという行いの中に粒度の細かい自由意志を感じ取ることが、人間の仕事になっていく。

BMIを通じて音楽や可視化情報を脳に入力しながら創造性を確保する

今、データの流通速度を上げる仕事をしている。世界認識（データ取得）→ 処理 → 判断・予測・自動化による世界の変更という一連のプロセスにおける技術的な課題解決の仕事だ。事業をすすめる中で思索を進めると、必ず非人間性、機械に操られる人類、自由意志の喪失といったディストピア世界をどう避けるのかという問いに突き当たる。この仕事に一段落がついたら、脳の仕事をしたいとも思っているが、おもしろいことに同じ問いに行き着く。

Kimiko Ishizakaの演奏、演奏している対象とperformされた録音の可視化を見ながら、BMIと自由意志・創造性・人間性についての問いに対する答えの種を得ることができた。

テクノロジーが進化して人間の脳、意識、感覚がまるで変わっていく世界での自由意志・創造性・人間性をテーマに、リサーチや思索を進め、また書いていく。

おまけ

下に貼り付けたのは私の演奏。電子ピアノについている録音機能を使っていて音はよくないし、素人の演奏なのだがよければ聞いていってやってください。まだまだ自分の音を聞きながら一人でインタラクションができるレベルには至っていないので、がんばっていきます。