ヒトはバッハを見る猿か - Kimiko Ishizaka の "Open" な録音が拓いた人と機械が作る表現領域 - BMI時代の人間性の源泉

ヨハン・セバスティアン・バッハが好きだ。音楽の専門教育を受けたことはないが、幼少期と高校生時代にバイオリンを弾き、今もときどき触る。バッハの思い出は、交換留学生としてスウェーデンにいた高2の冬、クリスマスの教会コンサートで「2つのヴァイオリンのための協奏曲 ニ短調」を演奏したことだ。もし戻れるなら、18才のヨーテボリに戻り、共演した金色の髪の少女の美しさと、2台目のバイオリンとしてパートナーの音を追いかけた楽譜越しの教会の内装を目に焼き付けてみたい。あのころ、もっと美しさに敏感であって、今でも鮮明に思い出せたならどんなにいいだろうかと思う。

ドレミでもB-A-C-Hでも、音に名前をつけることに成功して以来、人類は美しさを探して理論を構築し、それが今の音楽に繋がっている。バッハの作品の作り方は、理論と美しさが一体であることを示すから、その秘密を解くように調べ物をしながら聴くのが好きだ。探求、網羅、実験であり、美しい。平均律クラヴィーア曲集を、50才になるまでに、すべてを弾けるようになるつもりで練習している。

こんな動画を見つけた。

ゴルトベルク変奏曲は、最初に有名なアリアがあり、そのベースラインとコード進行を使った30のバリエーション(変奏)を揃えたもの。Patafractal は、フラクタル構造を持つ幾何学的な模様をズームしていく動画を公開しているスイスのアーティスト。上に貼り付けた動画と一連のプレイリストは、ゴルトベルク変奏曲をフラクタルの動画にしたものだ。

フラクタルの動画をどんな音楽と組み合わせるべきかを考えるとき、バッハを選ぶのは理にかなっている。数学であり、幾何学であり、絞り込むように拡大していくと終わりのない細部が現れてゆく時間を作るフラクタル。度数違いの14のカノンを含み、多様な拍子によってバリエーションが用意されたゴルトベルク変奏曲の幾何学性との組み合わせも妙だ。

そんなことに興味を持って調べてみたら、世界が広がった。

自由でオープンな演奏音源と楽譜

The Open Goldberg Variations プロジェクトは、ピアニスト Kimiko Ishizaka が、ゴルトベルク変奏曲の演奏の録音をパブリックドメインで提供し、誰にでも自由にアクセス・鑑賞・再利用可能にする試み。2012年、楽譜の作成・印刷・再生方法を、ウェブの時代に合わせて再定義する自由ソフトウェアMuseScore と共同で、クラウドファンディングで資金を集め、つぎの目的を達成した。

  1. 何百年もパブリックドメインになっている曲が、楽譜と録音で入手・鑑賞できない問題を解決する
  2. 演奏が広く頒布されることで利益を生む機会を得られる、新しい録音方法を確立する
  3. 人間と楽譜との関わり方(ウェブ時代の楽譜作成・印刷・再生方法)を再定義するオープンソースソフトウェアの開発を進める

オープンソースのソフトウェアに関わりながら働き、友人と利益を得て生活を立て、今の会社もオープンソースの手法を取り入れて価値を得、生み出している者として、音楽の世界でも同じような課題意識や価値観があることを知ってさらに調べた。

バッハの音楽を見る

Kimiko Ishizaka はその後も平均律クラヴィーア曲集、フーガの技法の録音をパブリックドメインにしている。その結果、生まれた成果のひとつがコンピューターを用いた音楽の可視化だ。

下の画像は、平均律クラヴィーア曲集第一巻の最初の曲の響きを見えるようにした動画のキャプチャだ。

平均律クラヴィーア曲集の1-1 ハ長調を五度圏(Circle of fifths)上に可視化している。
Bach, Prelude in C major, WTC I, BWV 846 (dyad spiral)

アルペジオの各音が、どの度数で重なって響きを作っていくのかが表現されている。響きの美しさが、なぜ美しいのか、聴覚だけではなく視覚からも認識することができる。

フーガの技法の可視化もおもしろい。時と音の流れ、流れの中での音の重なりが見える。

四声が追いかけ合うのを可視化している
Bach, Fugue in C major, WTC I, BWV 846

音の高さ、旋律を位置で示し、色によって声部を分け、横に進みながら追いかけあったり重なったりするのが見える。どんなに集中しても、四声を一度に捉えるのには私の脳ではメモリが足りない。が、見えることで理解が進む。

耳と頭がよくなった気がする。
Bach, Contrapunctus 1, Art of Fugue
カノンも、音の高さと色を用いて時間のズレと重なりを表現し、常に気づきがある状態で音楽を聞くことができる
Bach, Canone all' Ottava, Art of Fugue

人と機械が融合して新しい美しさを作る

音楽の可視化は、これまでにもコンピューターを使えば可能だった。既存の試みと決定的に違うのは、Kimiko Ishizaka の自分で自分の出す音を聞き、味わい、解釈し直しながら進む知的な演奏と組み合わさることで、人と機械が融合して美しさを高めているところだ。

もっと逐次的に動的に、ロジックと演奏者の工夫を可視化表現するように人工知能は進化するだろう。VRゴーグルをつけて3次元の空間みバッハの音と光が流れる中を飛び回る体験がしてみたい。teamLab がバッハで何かを作るとしたら、現実に音の中を歩くことができるかもしれない。自分でも、なにか企画できるのかもしれない。音楽とコンピューター技術を組み合わせてやれることがどんどん妄想できる世界が広がっていることを知った。何かの偶然でこの投稿を読んでくれた人には、Open Goldberg Project やそれに続く各録音を味わったり、派生して生まれた映像作品でおもしろいと思ったものをシェアするなどして、この試みの存在を広げてほしい。

手で演奏する、耳で聴く - 心と身体、BMIと芸術

「聞きながら弾く」は、この動画を見ると伝わるかもしれない。この動画を見て感じるのは、Kimiko Ishizaka が「音を聞きながら弾いている」ということだ。どの演奏家もそうではないかと思われるだろうが、違う。あらかじめ決められた演奏するのではなく、むしろ今自分の音がどう聞こえているのかに主な関心があるという点で違う。ひとつには、演奏対象がバッハであり、上の動画に示されたような音楽のロジック、複雑性、設計を含む音楽だから聞きながら弾く余地があり創造性がある。今日の手の動き、その日のピアノ、観客との関係性、気分によって毎回違う演奏になることを前提に演奏をしている。

ヒトとAIを分けるもの

演奏パフォーマンスに対するこの態度が、脳がコンピューターと繋がった時代における身体性の確保、人間性の確保に繋がる。AIと人間との違いは、身体があるかどうかだ。

BMI (Brain Machine Interface) とは、脳内の信号を読み取ったり、信号を送ったりすることができるデバイスだ。BMIの話を興奮して話すと「MATRIXみたいなことか?」と聞かれることが多いので、今日、MATRIXを見た。後頭部にプラグを接続しているあれはBMIだ。現実世界のトップを走っているイーロン・マスクのNeuralinkはすでに、デバイスの大きさと情報のやり取り方法で映画の先をいっている。大きなプラグではないし、無線通信だ。

BMIの今

Neuralink の説明によれば、脳内の信号を読み取る部分が先行して進んでいる。書き込みはこのあとの仕事のようだ。

この画像は、脳内に埋め込むデバイスで、左側に出ている線のようなものをthread(糸)と呼び、脳神経の信号を読み取る。

右側のデバイスがその情報を処理し、脳の外に送信する。

脳には860億のニューロンがあり、信号を受け取り、計算し、外へ送り出している。プログラミングに類比すると、入力、処理、出力を行う関数だ。ニューロン同士の情報のやり取りは電気信号である。

Neuralinkが脳の情報を読み取るときの基本的なアイディアは、電気信号の活発さを計測し、現実とリンクさせるというものだ。

読み取った電気信号の固まりの意味は、どのように知るのか。それは、現実のアクションと紐付けられた大量のデータをコンピューターで解析して、特徴を読み取ることによって行う。信号を解釈するのに、ひとつひとつのニューロンの処理内容を知る必要はなく、ただの大量データとして脳の電気信号を扱う。脳に埋め込むデバイスはセンサーであり、センサーから送られてきたデータを傾向解析データとみなして処理してしまえばいいという発明だ。

Pager と名付けられたこの猿。オナガザル科のマカク属に属するニホンザルの仲間だが、頭の両側にデバイスを埋め込まれている。

右手のジョイスティックで画面上のマウスカーソルのようなものを操作し、動き回るオレンジ色の四角の上にカーソルを載せると、左手で持っている棒の先からバナナスムージーが出てくる。

Pager がバナナスムージーを求めて、カーソルを上に動かすとき、左に動かすとき、速く動かすとき、ゆっくり動かすとき、それぞれ脳内で走っている電気信号が違っているので、その特徴を捉えてしまえば、脳の信号とPager の意思がリンクし、第1段階は完了だ。

第2段階では、ジョイスティックの動きではなく、脳の信号を見てカーソルを動かす。

第3段階は、ジョイスティックをなくし、思ったら動くというUIが完成する。

可視化されたデータはこの画像を見ると手触りが得られる。この分布や変化の傾向を、カーソルの位置と紐付けることが、脳信号の読み取りだ(Pagerが卓球ゲームをしている動画より)。

展開して考えよう。ここまでくれば、脳の信号を読み取ってコンピューター、スマホ、家の電気、コーヒーマシン、車を動かすことはできるだろう。

「あ」をイメージしたときの信号、「I love you」と思ったときの信号、お腹が空いたときの信号、「あの本にあったあのグラフを画面に表示したいな」と思ったときの信号、びっくりしたときの信号を読み取ることができるようになる。

インターネットに繋がれば、テレパシーやテレキネシスの完成だ。発展のスピードは想像以上に速いと思って、倫理、人間性について思索する必要がある。

BMI時代の人間性はどこにあるか - ヒトは、バッハを見る猿か

読み取りだけではなく、「脳に信号を起こさせる」ことができれば、書き込みも可能になり、マトリックス世界の再現であり、人類はかなり近い所まで来ている。私が考えているのは、これが可能になる数十年後に、人間の自由意志、発想、創造性はどういう状態になり、AIと共存するときのヒトに残された人間性の源泉はなにか、という問いだ。

機会によってヒトの脳を読み取り、脳に書き込みもできるとき、人間の自由意志、発想、創造性はどうなり、AIと共存するヒトに残された人間性の源泉はなにか。

バッハを聴きながら、弾きながら、可視化された音の流れを見ながら思いついた、この問いへの答えは「音楽のロジック、複雑性、設計」という創造性のある作品、「今日の手の動き、その日のピアノ、観客との関係性、気分」を感じ取り、具体的に動く人間の身体性、そして「聞きながら弾く」即応的な態度だ。この3つの組み合わせが、カーソルの位置を操ってバナナスムージーを求める猿と人間を分ける。

創造性のある作品とは、世界、他者のことだ。自分ではない、興味を誘うもの。コントロールできないもの。美しいもの。おもしろいもの。理解しようとする意思を誘発するものとしての世界と他者。設計された楽譜、美しくて恐ろしい自然の形、色、匂い、移ろい。自分と同じ人間なのに違う反応をする他者と他者が生み出すすべてのものごと。

身体は、自分を構成するものでありながら完全にコントロールできない。頭や心に身体は支配できない。一方、身体には脳にはない能力もある。モーツァルトが作曲するとき、すでに完成した音楽が天から降ってきたそうだが、その彼であってさえ、BMIを通じていきなり交響曲を演奏するには、脳の処理速度や出力速度は足りない。脳のみで音は出せず、鍵盤を押すことで表現がされる。どんなピアニストも、鍵盤に触れたり指が動くことなしに、音楽を出力することはできない。思うがままの理想の音を脳で作るほど、人間の脳は世界を含んでいない。BMIが完成しても、音を鳴らすにはメモリが足りない。体が思考するのだ。手が鍵盤を押し、弦を抑え、弓を引く。身体性とは限界でもあり、具体でもある。

即応的な態度とは、粒度の細かい自由な意志を持続させる対話的な心の動きだ。創造的なもの、美しいもの、おもしろいもの、知らないものへの興味を持続させ、インタラクティブに関わる動き。一人で演奏するのであっても、世界と身体と対話的に関わる(聞きながら弾く)。会話においては、他の人間の話を聞き、自分の反応に耳を澄ませ、言葉を出してみる。そのときに相手の即応的な態度に期待をする。その繰り返しをするには、世界を感知し、意思を持ち、再帰的に自身を認識して、出力をしてもう一度他者と世界を待つ。

楽譜を見ながら指で音を鳴らし、音を聞きながら音を弾く。パフォーマンス=performance の語源は、"to do, carry out, finish, accomplish"。何かをする、出す、終わらせる、達成するという行いの中に粒度の細かい自由意志を感じ取ることが、人間の仕事になっていく。

BMIを通じて音楽や可視化情報を脳に入力しながら創造性を確保する

藤子・F・不二雄 T・Pぼんより

最後のコマの「なにかが滝のように頭へ流れ込んでくる!!」とはいったいどういう体験なんだろうか。

BMIが発達した暁に、誰かと意思疎通をするとき、それは文字の絵ではなく、かなり声に近いのではないかと思っている。Airpodsなどのノイズキャンセリングがもっとハードになったときの電話やクラブハウスでの会話のような。

では、音楽はどうか。

バッハを弾くときに、楽譜を知っているAIが即座に可視化映像を作り、脳に送り込んで来るとしたら、体験はどのようになるのか。時の流れがなくなるのか、頭の中で音が鳴るのか、感情だけが湧くのか。人間は、音という他者に対して身体性と即応的な自由意志を持てるのか。持てるようにソフトウェアをデザインできるのか。

今、データの流通速度を上げる仕事をしている。世界認識(データ取得)→ 処理 → 判断・予測・自動化による世界の変更という一連のプロセスにおける技術的な課題解決の仕事だ。事業をすすめる中で思索を進めると、必ず非人間性、機械に操られる人類、自由意志の喪失といったディストピア世界をどう避けるのかという問いに突き当たる。この仕事に一段落がついたら、脳の仕事をしたいとも思っているが、おもしろいことに同じ問いに行き着く。

Kimiko Ishizakaの演奏、演奏している対象とperformされた録音の可視化を見ながら、BMIと自由意志・創造性・人間性についての問いに対する答えの種を得ることができた。

テクノロジーが進化して人間の脳、意識、感覚がまるで変わっていく世界での自由意志・創造性・人間性をテーマに、リサーチや思索を進め、また書いていく。

おまけ

下に貼り付けたのは私の演奏。電子ピアノについている録音機能を使っていて音はよくないし、素人の演奏なのだがよければ聞いていってやってください。まだまだ自分の音を聞きながら一人でインタラクションができるレベルには至っていないので、がんばっていきます。

この記事が気に入ったら
フォローしてね!

コメント

コメント一覧 (4件)

  • - ガイドラインの構築をする
    - 先行研究を探す
    - ロボットの3原則
    - AI 倫理系
    - 危険は何?誰に対する?
    - SNS広告とアテンションエコノミーの世界で起こったこと。分断問題。
    - 悪い結果に結びつくエコシステム。
    - 人の表現欲、承認欲求(アテンションを自分に向ける)が史上初めてこんなになった。BMIでは何が出るか。
    - コントロールの方法、アクセス管理、誰向けにの管理。間にソフトウェアやサーバーシステムがある。誰にどの情報へのアクセスを渡すのか。
    - 本人確認システムは、脳を認証するのか。
    - パスワードは機能するのか。(SSL的な暗号化の仕組みはどうなるのか。自分で仕組みを持てるのか、そこを握った企業が管理するのか)
    - ニューラリンクがアプリやサーバーを管理して、そこへ脳へのアクセス権を渡すのか。
    - サードパーティが参加するプラットフォームができそう。
    - アレクサとかオッケーグーグル、Siri的な掛け声がトリガーとして必要。掛け念?内容は言語的な信号?言語で思うのか?絵を思い浮かべながら思うのか?許可的な気持ちが読み取れるのか。
    

  • 発話のための神経プロテーゼ(義肢)。
    上の記事中の猿がBMI(脳と機械の接続面)を使って、思うだけでゲームするのが出てくるんだけど、人間版が出てきた。
    脳卒中で会話ができなくなっていたけど、認知能力は損なわれていなかった人の脳活動から単語群を取り出した。

    “Neuroprosthesis” Restores Words to Man with Paralysis | UC San Francisco

    CNN.co.jp : 脳インプラント装着の男性、コンピューター通じ「話せる」ように 米研究 - (1/2)

コメントする

目次
閉じる