11/08/2008

多様性が生む効率性

個々のニューロンの活動は非常に多様。例えば、1個のニューロンの活動に注目すると、同じ刺激(例えば光刺激)を繰り返しても、それに対する応答が毎回違う。同じニューロン、同じ刺激なのに。

では次に、1から10の刺激に対する応答を調べたとする。Aというニューロンは2~3という狭い範囲の刺激にしか応答しないのに、Bというニューロンは1~8という広い範囲で刺激に応答したりもする。つまり、個々のニューロンの「守備範囲」も多様。

では、そんな多様な応答をするニューロンたちの情報処理パフォーマンスは、全体としてみてどうか?

多様な方が良いのか、それとも、守備範囲の広さは均一な方が、実はパフォーマンスは良いのか?

Dragoiの研究グループが、そんな問題に取り組んた結果をPNAS報告している。

神経ネットワークのシミュレーションの結果、多様性を増すほど、情報処理の効率性(パフォーマンス)が改善することがわかった。そして、その効率性の改善には、ニューロン同士の活動の協調性が必要ということもわかった。

つまり、ニューロン活動の多様性が増すと、ニューロン同士の協調性が変わり、ひいては全体としての情報処理の効率性が改善することがわかった。

脳においても、多様な要素から成る集団のパフォーマンスは、均一な集団のそれより優れている。

---
補足

この研究では、視床(外側膝状体)から一次視覚野の4層までを想定したフィードフォワードネットワークをシミュレーションしている。

論文では図3が重要ポイントの一つで、多様性が増すほど集団のパフォーマンスが上がることを示している。ここで多様性というのは、方位選択性のチューニングカーブ(の広さ)の多様性のことで、実際には皮質内ニューロン集団のコンダクタンス分布のバラツキとしてこの多様性を操作しているようだ。一方、集団のパフォーマンスというのは、神経集団の活動をもとに刺激をどれくらい予測(ディコード)できるかということで、Fisher informationとして定量しているようだ(細かいところは把握してません。。。)。

もう一つ重要なのが図4で、いわゆるnoise correlation(単一試行レベルで見たネットワークレベルの活動の揺らぎ具合、という解釈でだいたいOKか。テクニカルには、同一刺激に対するニューロンペアの活動相関を単一試行レベルで計算する)が、どれくらい効いているか「シャッフリング法」で調べている。

その結果、noise correlationがなくなると、多様性によるパフォーマンスの改善がなくなる、逆に言えば、多様性によってパフォーマンスが増すには、多様性を導入する時に生じるnoise correlationが重要ということがわかった。

さらに、論文のDiscussionで重要な議論を展開していて、「回帰性」回路とフィードフォワード回路の違いについて議論している。これはもう一つ図を増やせるくらい価値のある議論だと思った。(supplementary informationにその図があって要確認)

彼らの主張は、自分が理解した範囲ではこう:
神経回路の特性として回帰性まずありき。ただし、機能的に考えると、回帰性は活動の相関性を大きくする方向に働いて、全体としてのパフォーマンスが落ちる(なぜなら、機能重複が大きくなって冗長性が増す、すなわち情報量が減るから)。そこで、ニューロン間の多様性を導入することで、それを克服している。それが脳なのではないか?
ということ。

これを受けて個人的に思うこと:
なるほど、確かにこの研究・主張は非常に面白い。だけども、「多様性」に(少なくとも)もう一つレベルを追加する、というのがよりリアリスティックな考え方なのではないか?

いずれにせよ、この手の研究は計算論的な優れた研究がいくつか出ているので、実験的にこの問題にアプローチしながら、コンセプトをより改善していく必要があるのではないかと個人的には思われる。

と、新規性そのものは乏しいといえばそういう気もしますが、さすがDragoiという感じで面白かったので紹介してみました。

---
参考文献
Proc Natl Acad Sci U S A. 2008 Oct 21;105(42):16344-9. Epub 2008 Oct 14.
Efficient coding in heterogeneous neuronal populations.
Chelaru MI, Dragoi V.

2 comments:

阿頼王 said...

非常に難解なテーマですね。
ど素人レベルだと、ちょっとキツイですね。

でも、あえて無謀覚悟でド素人解釈すると、要するに、

数理学モデルでは、ニューロンが多様性(その時の条件によって発火レベル等が異なる)を持っているほうが、ニューロン(しいては脳)の情報処理能力が上がる。そしてその時には、『神経細胞間の“協調作用”(普通の細胞でも、集めて置いておくと協調作用をおこしますよね)が重要なファクターになってくる』って事でしょうか?

この『多様性を増すほど、情報処理の効率性(パフォーマンス)が改善する』って言うのが良く理解できにくい所なんですけど、

15%の多様性よりは25%の多様性を持っている方が、そして35%の多様性を持っている方が25%の多様性を持っているより、ノイズが多くなっても正確な“類推”が出来るってことでしょうか。

ただ、ノイズが15%の時は35%の多様性よりも、パフォーマンス(類推能力)が高いと言う事ですね。ただ、ノイズが50%になると、15%の多様性から25%の多様性で少しパフォーマンスは低下し、35%で、急激に上昇していますね(パフォーマンスにふらつきが有るという事ですね)。

どうも、神経細胞の固有の数値は、既存のデーターから、実際に近い数字を代入して計算されたようですね。

これは数値モデルで理論的に数字をはじく時の常套手段ですよね。実はわたしも大学の時に同じような方法で“神経伝達モデル方程式”を作った事があるのですけど、結局、これを解析する時は、同じように神経細胞の固有の数値は、既存のデーターから、実際に近い数字を代入して解析しました。

ただ、気になった事は、

① 理論式を作る時点で、理論の仮定の上に理論を乗せて行くので、それが果たしてリアルの神経細胞を表現できているのか? (自分の作った方程式が、自分が作った時点でそういう疑問を持ちました。なんか“論上論を重ねる”って感じでした)

② ノイズがゼロの場合はどうなのか(コントロールでは0%ノイズのパフォーマンス比較が無いですね)?

③ この実験の場合、視覚をモデル化して、310が正解として、013とか違う並べ方をノイズとしたようですが(この理解であってますか?)、それは、本当に神経(脳)のパフォーマンス向上を意味しているのか?

④ 現実には、神経(脳)は、『五感の情報処理』、『思考と言う情報処理』、『身体を動かす制御的な情報処理』等をしていると思うのですけど、このモデルで現したパフォーマンス向上は、具体的に『何』を表しているのか?

⑤ 多様化とは、具体的には、“意識レベルの変化”とか、“脳波の混在状態”とか、どう言う形で具体的には現れ、認識or意識されるのか?

等の疑問が出てきてしまいました。

ただ、論文も全て専門用語が並んだ学術論文ですし、書いたのは最前線の現役研究者、わたしはド素人、だから、根本から理解、解釈が間違っているのかもしれませんし、議論がズレているかも知れませんけど、その辺りがどう引っかかりました。

はっきり言うと(面白いし、興味があるのですけど)、もうこのレベルではド素人は付いていけませんけどね^^;

Shuzo said...

阿瀬王さん、コメントありがとうございました!
昨日まで学会でレスポンスが遅くなって申し訳ありません。

今回紹介した論文は、かなりマニアックな部類に入ると思います。
抽象度を上げてエッセンスが伝わればと思って書いたのですが、やはり難しいですね。。。
まだまだ私は修行が足りませんね。。。

> 数理学モデルでは、ニューロンが多様性(その時の条件によって発火レベル等が異なる)を持っているほうが、ニューロン(しいては脳)の情報処理能力が上がる。そしてその時には、『神経細胞間の“協調作用”(普通の細胞でも、集めて置いておくと協調作用をおこしますよね)が重要なファクターになってくる』って事でしょうか?

ここでいう「多様性」というのは、ニューロンAは刺激1-3まで処理して、ニューロンBは刺激2-6まで処理するという意味で、ニューロンそれぞれの個性が多様という意味です。
ニューロンAの振る舞いがいつも違う、という意味での多様性とは違います。
『神経細胞間の“協調作用”が重要なファクターになってくる』というのはその通りです。

> ① 理論式を作る時点で、理論の仮定の上に理論を乗せて行くので、それが果たしてリアルの神経細胞を表現できているのか?

あくまでシミュレーションなので、リアルではないです。
今後、実験で検証していく必要がありますね。
でも実験をやっている私としては、こういう論文は非常にありがたいです。

> ② ノイズがゼロの場合はどうなのか(コントロールでは0%ノイズのパフォーマンス比較が無いですね)?

論文で実際に調べてます。
「ノイズ」という言葉ではなく、「ばらつき」という言葉が正しいですが、その「ばらつき」がないと、均一なニューロン集団ができあがって、集団としてのパフォーマンスも悪くなるようです。

> ③ この実験の場合、視覚をモデル化して、310が正解として、013とか違う並べ方をノイズとしたようですが(この理解であってますか?)、

あっていないような気がします。

「noise correlation」という言葉が登場しますが、これはいわゆるジャーゴンで、ごくごく一部の人種が使うひどい専門用語です。

そのnoise correlationとはこうです。
今ニューロンAとB二つのニューロンを考えます。
Xという刺激が入った時の二つのニューロンの活動を、10回繰り返し調べたとします。

2つのケースを考えて見ましょう。
<ケース1>
ニューロンA 1 0 2 1 0 0 3 2 0 1
ニューロンB 2 0 4 2 0 0 5 3 0 1
*ここで各数字は、ニューロンの出力数としましょう。

<ケース2>
ニューロンA 1 0 2 1 0 0 3 2 0 1
ニューロンB 0 2 0 0 4 0 2 1 5 3

ケース1の場合、AとBのニューロンが同じように活動したり、活動しなかったりしています。
ケース2の場合、AとBのニューロンの活動のばらつきは協調していません。
(だけど、合計の活動数はどちらのケースでも同じです。)

noise correlationとは、そのニューロンペア(集団)の活動の「協調性」「相関性」のことを意味しています。
ですので、上の例では、noise correlationは、ケース1>ケース2となりますね。

で、論文でやっていることは、シャッフリングといって、そのばらつきの協調性を人工的にこわすために、単にデータをシャッフルしています。
(何か規則性があるように並んでいる2組のトランプを用意して、その一組のトランプをくって、その規則性を人工的に崩して、それをコントロールとして考えるようなものです。)

この論文では、そのシャッフリングによって、本来あるニューロン集団活動の協調性を人工的に崩して、その協調性(つまりnoise correlation)がネットワークのパフォーマンスにどれくらい貢献しているかを調べています。

難しいですが、少しでもイメージが伝われば良いのですが。。。

> このモデルで現したパフォーマンス向上は、具体的に『何』を表しているのか?

視覚刺激の解読のしやすさ、を表しています。
論文では、神経集団の活動を見るだけで、どれくらい忠実に、入力として入った視覚情報を解読できるか?を定量的に調べてます。ですので、「パフォーマンスが向上した」ということは、どんな視覚刺激が入ったのか解読しやすくなった、ということになりますね。
お答えになってます?

> ⑤ 多様化とは、具体的には、“意識レベルの変化”とか、“脳波の混在状態”とか、どう言う形で具体的には現れ、認識or意識されるのか?

この論文からは何もわからないですね。けど、重要な質問だと思います。
もしかしたら意識レベルが上がれば、多様性がさらに上がって、システムとしてのパフォーマンスが上がる、といったことが起こっているかもしれないですね。
根拠のない空想ですので、聞き流してください。。。

> はっきり言うと(面白いし、興味があるのですけど)、もうこのレベルではド素人は付いていけませんけどね^^;

そうおっしゃらず、ついて来て下さい。(苦笑)