GoldとShadlenの総説を読んで

先日のスプリングカンファレンスもあって、今月は勝手に「意思決定　強化月間」実施中。関連文献を読んでは勉強中である。

今週はGoldとShadlenの総説を読んだ。えらく勉強になった。
今回は、そこから学んだことを中心に書いてみる。

---
意思決定の定義

その総説で彼らはまず、”decision”を次のように定義して議論の範囲を決めている。

A decision is a deliberative process that results in the commitment to a categorical proposition.

熟慮のプロセスであり、その結果として一つのことにコミットする過程。

いきなり意味不明ではあるが、文章を噛み砕くと次の通りか：
deliberative processは、以下のcategorical propositionとあわせて考えると次のようなニュアンスだと思われる。白黒カテゴリーに分かれそうなことを、白か？黒か？あれこれ考える「熟慮の過程」。文字通り「熟慮」しなくても良いとは思うが、ニュアンスとして「直感」「反射的」とは違う「熟慮」という日本語がふさわしい気がする。

a categorical propositionは、２つ以上のオプションがある状況を考えて、そのうち一つのオプション、と考えれば良い。

commitmentは、文字通りといえば文字通りか。複数のオプションのうち、一つのオプションを選ぶ、そうすると決める、というニュアンスで良いと思う。

ということで、
意思決定は、二つ以上のオプションから一つのオプションを選ぶと決める、熟慮のプロセス
という定義で、それほど彼らの定義と間違っていない気がする。

---
総説の概要と意思決定のモデル

そのような定義をもとに、この総説では、意思決定を「統計推定的な過程」ととらえ、各統計的なパラメーターを脳のどこのニューロンが計算していそうか、過去のサルの神経生理実験を中心に非常にわかりやすくまとめられている。

では、「統計推定的な過程」とはどういうことか？

総説中の図１に詳しい。そこでは、脳が環境と相互作用しながら、どのようなプロセスで意思決定していくか、フローチャートとしてまとめられている。

その中で、少なくとも３つのパラメーターが重要。
まず、priorsというもの。これは事前情報や事前確率と考えたら良いか。これまでの経験をもとに、これからある状況に直面しそうな確率、期待度、とでもとらえたら良いと思う。

次に重要なパラメーターはevidenceなる感覚情報から引き出される情報、証拠。意思決定のための状況証拠と考えたら良いだろう。

三つ目として重要なのは、事前情報と証拠を元に算出されるdecision variableという意思決定のパラメーター（ざっくり「意思の揺れ動きパラメーター」と言ってそれほど間違っていない気もする）。

そして、「意思決定のルール」を適応して文字通り意志を決定する。例えば、そのdecision variableなる量が、ある閾値に到達したら、例えばAかBのうちAという意思決定をする。そういうルールを適応する。

この総説では、その考えの一部をサポートする実験をいくつも紹介している。（昔エントリーを立てたこちらでもこのコンセプトと実験証拠を紹介しています。）


これでもピンとこない場合、次の例え話をするともっとイメージがつかめる。

この総説では、意思決定を裁判に例えているので、そのアナロジーを使ってみる。

裁判のとき、検察と弁護側が、いろんな証拠を裁判官に見せる、あるいは説明する。検察側は、被告が有罪になるような証拠を裁判官に見せる。逆に弁護側は被告が無罪になるよう証拠を見せる。そして、裁判官はその証拠に基づいて、熟慮の結果、白か黒か判決を下す、意思を決める。

このアナロジーで、検察・弁護側から裁判官へ提示される証拠が、evidenceにあたる。証拠を提示された裁判官は、有罪か無罪かという仮定をそれぞれ設定する。その仮定に基づいて、提示された証拠が得られる確率、あるいはもっともらしさを勘定する。その「勘定」がdecision variableという意思決定のパラメーターに相当する。

裁判では、証拠がどんどん蓄積されて、そのdecision variableである意思決定のパラメーターが徐々に無罪か有罪の方向かに動き、最終的な判決へ結びつく。

ちなみに、このもとの考えはもちろんGoldとShadlenが言い出したのではなく、von Helmholtzまでさかのぼれるようだ（von Helmholtzの教科書）。


この総説では、脳で行われている意思決定のプロセスは、そのような統計推定のようなプロセスだという仮説のもとで議論を展開している。そして、evidenceを計算するところは、例えば、初期感覚野（S1やMT野）だったり、decision variableを計算していそうなところは、例えばLIPと呼ばれる頭頂連合野の一部だったりしそうだ、という証拠をいくつも紹介している。

もちろん、それを信じるか信じないかは読者（裁判官）の判断にゆだねられているので、この総説はあくまでもこの分野の証拠（evidence）、それから背景知識（priors）を非常にわかりやすくまとめていると理解したら良いと思う。

読みながらdecision variableが揺れ動き、彼らの説を正しいと思うか、間違っていると思うか、それとももっと証拠がいると思うか、それは読者しだいである。

---
sequential analysis

この総説を理解する上で他に重要なことは、sequential analysisというコンセプト。
総説中図２に詳しい。証拠が提示されるたびにdecision variableを計算。そしてそれが意思決定の閾値を超えたらそこで意思を決めて証拠を集めるのを止める、という発想。証拠を集める、閾値を超えたか判断、というシーケンスを続けるからsequential analysisと言うのだろう。

とにかく、証拠が集まるにつれ、意思決定のパラメーターdecision variableが、例えば有罪か無罪かどちらかの方向へ動いていく。そして、閾値を超えたら、判決を下す。

実際に、サルのLIP野で、そのdecision variableが徐々に上がっていくような振る舞いを示すニューロンを発見した研究も紹介されている（後述）。

---
この総説の守備範囲について

この総説は、perceptual decisionの研究を中心にまとめている。perceptual decisionというのは、感覚刺激が物理的にどのような刺激かを知覚・判断して意思決定すること。

個人的に新鮮だったのは、刺激があるかないか検出（detection）して行動することもperceptual decisionの範疇として扱っていたこと。勉強になった。

総説の後半では、value-based decision、ヴァリューに基づく意思決定についても少し触れられている。そのvalue-based decisionの自分の理解はこう：
特定のもの（例えばアクション？）が他のものと比べてどれくらい価値があるかを勘定にいれて意思決定する過程、とでも言ったら良いのだろうか？アクションを評価して、つまりヴァリューを見積もって、それをもとに意思決定する過程。

より具体的に：
特定のアクションのコストとその結果得られるであろう報酬量・報酬確率をもとに算出されるのがバリューと考えてもそれほど間違っていないか？あるアクションを起こすと、これだけリスクとゲインが考えられ、別のアクションはこれだけ、、、、と考えながら意思決定する過程、という理解で良いと思う。

株取引はvalue-based decisionというと、最もわかりやすいか。

---
逆に、この総説でほとんど扱っていないことは、ヒトのイメージング研究。少しは記載があるけど、時間解像度や空間解像度の問題を指摘して、まともに相手していない。けど、MRIを使って課題をうまくデザインすれば、decision variableに相当しそうな脳活動をとらえることは可能だと個人的には思った。そういう研究はあっても良い気がするな。おさえられていない。

perceputual decisionの話が出たが、この総説は主に視覚と体性感覚の話が中心となっている。特に視覚に関しては様々な実験パラダイムが紹介されている。（マカク）サルの研究以外としては、げっ歯類の嗅覚系の話が紹介されている。

けど、聴覚や味覚のperceptual decisionは扱っていない。味覚の意思決定の研究が行われているか知らないけど、聴覚に関しては、ParkerとNewsomeのちょっと古いけど有名な総説で扱っている。この総説もあらためて読み直したけど、えらく勉強になった。

---
未解決問題

総説の最後に今後の課題を８つ挙げているので、そのまま紹介してみる。

１．事前情報（priors）、感覚刺激に基づく証拠（sensory evidence）、ヴァリューに関連した情報は、脳のどこで、どのように統合されるか？その際、どんな単位が使われるか？

２．decision variableは、単に便利な抽象化に過ぎないのか？それとも意思を形成する際の重要な量を明示的に表現したものなのか？

３．神経回路が時間と共に情報を統合していく仕組みは？

４．閾値などの意思決定のルールを実装している脳の場所はどこで、それはどのような仕組みか？

５．２つ以上（おそらく３つ以上）の選択肢があるときの意思決定の仕組みは？

６．最終決断時、意思決定のルールとしてランダムさを明示的に行使するのはどんな条件下か？

７．特定の行動のアウトプットと結びつかない意思が形成されるのはどこで、どのように形成されるか？

８．経験は特定のゴールを達成するための意思決定をどのように最適化するか？

興味深い指摘ばかり。
特に、６は興味深い。
個人的には、総説で少しだけ議論している直感的な（無意識的な？）意思決定というのは興味がある。
時間スケールが異なる意思決定が同時並行的に起こっていて、どちらを選ぶか意思決定するメタ意思決定的なものがあったりするようなしないような。。。こういう意思決定の階層性研究なんかもヒトを対象にするなら、面白い気もした。

---
最後に、今回の総説を読みながら思ったこと３つほど書いてみる。

まず一点目。LIPニューロンはホントにdecision variableを表現しているか？

例えば、この総説では図５だったり、RoitmanとShadlenの論文の図４や７（こちらの論文は図を見ただけですが）。ここでは、LIPのニューロンがdecision variableを表現しているかのように徐々に発火頻度が上がっていくことを報告している。

けど、各試行のデータ（ラスタープロット）をみると、徐々に発火頻度が上がるというよりは、ステップ関数的な上がり方をしている印象を受けなくもない。

ホントは立ち上がりが急なステップ関数として捉えるのが良いのだけども、その立ち上がりが試行間で変動しているため、平均化すると徐々に上がっていくように見える、という可能性はないか？

もちろん、ニューロンの集団として、細胞ごとに立ち上がりのタイミングが違っていれば（シーケンス？）、細胞集団として徐々に上がるような出力になるから良いではないか、と言うなら悪くない。が、この点は必ずしも明らかではない。この問題は複数のニューロン活動を同時に計測した方が良い。

ちなみに、Shadlenのラボはこの論文の元データを公開しているようだから、matlabでデータを見てみると面白そう。（「あとでやる」）

一方で、昨年のネイチャー論文の話は、もっと説得力があるといえばあるか。
それでもやはり一試行単位、あるいはニューロン集団として現象を扱いたいところではある。


気になること二点目。
今回の総説の図５、MTの細胞とLIP細胞の活動のタイミング。
MTの細胞がピークになった時、LIPの細胞は一旦抑制されている。（同時計測ではないから、偶然の一致の可能性もあるけど）

これは、上の将来課題の１番目と特に関連しそう。

まるで、LIPのニューロンがMTからevidenceを受け取って、そこから「熟慮」し始めているかのような振る舞いをしているようにも見える。

このLIPの抑制はいったいどんな意味（機能）があるのか、そのメカニズムも興味があるところ。メカニズムに関しては、粗くて良いから局所回路レベルの解剖なり、少なくとも機能的な結合情報がわからないと何とも言えない気がする。

気になること三点目、これは将来課題４番目とも関わる。閾値とdecision variableの計算過程。
閾値などの意思決定ルールの問題に関しては、Wangたちのモデルが良いスタートポイントになりそう。

このWangたちの論文のメインポイントは閾値の問題ではあるが、LIP細胞の振る舞いを再現するようなモデルも立てていて、LIP細胞の活動のメカニズムを考える上で参考になる。

そのモデルのLIPでは、２種類の競合する情報をコードする興奮性ニューロン集団が相互結合し、抑制性入力もそれぞれ受け取っている。そして、いわゆるwinner-take-all、勝ち組と負け組ができあがる現象に近い、が起こってこの活動が再現されるようだ。少し強い入力を受けると一方はどんどんそれを増幅し、弱いものをどんどん抑え込んで負け組にするようだ。

だとすると、似た受容野を持ったLIPニューロンの多く（すべて？）はこの徐々に活動を上げる（下げる）振る舞いをするのだろうか。サンプリングバイアスの問題はないとすれば、Shadlenたちの論文の主張と矛盾しないけど、実際のLIPはどの程度多様な集団から形成されるのか気になるところ。

ちなみに、こういう相互結合したネットワークなら他の皮質領野にもあるので、なぜLIPなのか？という問題は自分にはあまり明確ではない。実際、LIP以外にも似た活動をするニューロンはたくさんいるのかもしれない。

それから、もしwinner-take-allなら、選択的注意の文脈で出てくるそれとどう違うのか？（これに関して、注意を向ける対象をコミットすることも「意思決定」と言って良いのか？よくわからん。これは上の７番目の課題とも関連するのか？）

それからメカニズムに関連して、例えばスライス実験で、LIP細胞のような振る舞いを示す細胞を計測できるようなモデル系を立ち上げると、意思決定の細胞・ネットワークレベルのメカニズム理解に大きく貢献できる気がする。

相互結合が強そうな連合野を使って、感覚野と比べると面白いかもしれない。実際ワーキングメモリーの研究はスライスレベルの研究に落ちているし、意思決定の研究をスライスレベルでやる、というのは、もうそれほどぶっとんだ考えではない気がする。自分が知る限り、そういう研究はまだないか。

とにかく、Wangのモデルの話は、まだ一つ読んだだけだけど、今後の研究の方向性を考える上でも非常に参考になりそう。perceptual decisionの課題で基底核からニューロン活動を調べる研究をやったりするのも面白い気がした。


という感じで、まだまだ誤解していること、知識不足なところがあるのは否めないけど、この総説はえらく勉強になりました。

（良い具合にvikingさんのところでも意思決定関連のエントリーが出て勉強中。。。）


---
参考文献

Annu Rev Neurosci. 2007 Jul 21;30:535-574.
The Neural Basis of Decision Making.
Gold JI, Shadlen MN.
今回のテーマとした総説。とにかく読みやすく書かれていて、非常に勉強になる。

J Neurosci. 2002 Nov 1;22(21):9475-89.
Response of neurons in the lateral intraparietal area during a combined visual discrimination reaction time task.
Roitman JD, Shadlen MN.
LIPからdecision variableを計算しているかのような、徐々に活動を上げていく（下げていく）ニューロンを発見している。こちらにこの論文の図７を再現するためのデータとコードを公開している。

Nature. 2007 Jun 28;447(7148):1075-80. Epub 2007 Jun 3.
Probabilistic reasoning by neurons.
Yang T, Shadlen MN.
LIPに確率推定をしていそう、つまりはdecision variableを計算していそうなニューロンがいることを報告した重要論文。こちらで少し紹介済み。


Nat Neurosci. 2006 Jul;9(7):956-63. Epub 2006 Jun 11.
Cortico-basal ganglia circuit mechanism for a decision threshold in reaction time tasks.
Lo CC, Wang XJ.
意思決定の閾値の問題に、理論から取り組んだ非常に面白い研究。

Print this post