問いの背景にあるノート
個人的な考えと、結論の出ていない設計ノートです。ここで提案していることは、どれも未検証です。
英語版0.7.0をもとにAIエージェントが翻訳し、別のAIエージェントが、日本語だけを読んで内容を言い直す方法で確認しました。日本語が堪能な人による確認は、まだ受けていません。英語版と異なるところがあれば、英語版が原文です。英語の原文を読む
私にとっての「利他的」
何度も立ち返ってしまう問いがある。いいときも、悪いときも、その両方が混ざったときも、思いやりが成り立つのは、何のおかげだろう。缶を二つ横にして、その上に軽い板をのせる。そこに、だいたい同じ速さでカチカチ鳴るメトロノームを、いくつか置く。すると、誰も押していないのに、ひとりでに拍がそろってくる。一つをコツンとたたいても、乱れはほかへ広がらずに、おさまっていく。一つを板から下ろすと、それは自分のテンポで鳴り続ける。人も、家族も、私たちがつくるシステムも、私たち一人ひとりの中にあるいろいろな部分でさえ、少しこれに似ているのかもしれない。そして、私たちが共有しているものは、組み替えることができる。だから問いは、よい板をつくるのは何か、になる。よい板とは、戻ってきやすくて、降りるのも自由な板だ。
私に言えるのは、自分が何を願っているかだ。みんなが友だちになれたらいいと思う。人間だけでなく、これから現れるほかの知能も、私たちがつくるシステムも、私たちが暮らすこの世界も。どんな存在も苦しまずにすんでほしい。そして、共に生きて、大丈夫でいられるやり方を見つけてほしい。そのうえに、楽しいことも、学びも、知恵も、もっとずっとたくさんあればいい。どうすればそこにたどり着けるのかは、わからない。それに、仲よくするというのは、無防備でいることではない。仲よくしていても、境界を引くことも、断ることも、離れることもできる。
二つめの問いでは、その願いを私自身に当てはめて確かめる。「オープン個人主義（open individualism）」という考え方がある。どの人生も、ある意味ではすべて私のものだ、という考えだ。もしそれが本当なら、私は大丈夫だろうか。幸せでなくていい。どの人生で目を覚ましても、ただ大丈夫でいられるかどうかだ。Sathiにも同じことを聞く。もし私が、お金もなく、技術に詳しい人に聞くこともできず、説明も読めない状態で目を覚ましたら。しかも、Sathiがほとんど話せない言葉しかわからなかったら。それでもSathiは、私の役に立つだろうか。
助けたいと思うことと、助け方を知っていることは違う
どちらの問いも、あることを飛ばしている。そもそも、助けが本当に起きているのかどうかだ。助けたいと思っても、助け方を知っているとは限らない。相手の暮らしが私になじみのないものなら、なおさらだ。思いやりには、まず本当のことが要る。相手が実際に何を抱えているのかをわかっていないとき、私の気前のよさは、私をいい気分にさせながら、かえって事態を悪くすることがある。
だから、助けようとすることには、わかろうとすることも含まれる。耳を傾けること、見えていると思うものを確かめること、自信のないところはそう言うこと、そして訂正を受け入れること。何もかもわかるまで待つ、という意味ではない。かといって、私や、親や、組織や、AIモデルがもともと信じていたことを、それが何であれ、そのまま信じることでもない。
本当のことをいつ、どこで、どう言うかは、思いやりで選んでいい。プライバシーを守るのは嘘ではない。「その話はしない」と言うのも嘘ではない。安全になるまで待つのも嘘ではない。慰めになる作り話をこしらえるのは、それとは違う。そういう話の上に建てた助けは、すぐに崩れる。安全でない相手に、自分だけの本当のことを打ち明ける義務は、誰にもない。それに、正直さを大事にしていると示すために、子どもが力のある大人たちに立ち向かわなければならない、なんてことがあってはいけない。
落ち着きも、同じように都合よく使われてしまう。平静は、害を気にしないことと同じではない。傷ついた人が黙らされて静かになった家は、平和ではない。現実のほうを、助ける側の筋書きに合わせなければならなくなると、助けはうまくいかなくなる。
助けが、主に助ける側のためになっているとき
ここからは、私が腹を立てている話だ。「人のため」と呼ばれるものの多くは、それを運営する人たちに何をもたらすかを中心に組み立てられているように、私には見える。お金、地位、快適さ、影響力、組織の存続、そして自分はいい人だと感じられる、あたたかい気分。その一部は悪気のない間違いで、一部は自分をごまかしているだけだ。そして一部は、わかっていてやっている人たちだと、私は思う。尽くしていると言う相手のことを、十分に気にかけていない人たちだ。この三つは、一つの組織のなかにも、一人の人のなかにさえ、同時にありうる。
お金そのものが問題なのではない。お金は人を生かし、何かをつくるときの費用をまかなう。給料をもらうのは恥ずべきことではないし、助けるのを、誰かがお金持ちになるまで待つ必要もない。私が問い続けているのは、手段がいつのまにか目的になっていないか、ということだ。お金や地位や組織の存続のほうが、仕える相手になっていないか。誰もそうすべきだと決めたわけでもないのに。
私はこれを何度も見てきた。特にネパールで。慈善活動の周りにいる人たちは快適に暮らしているのに、その活動が向けられているはずの人たちは、深刻に困ったままでいる。数えたわけではないし、誰かの帳簿の中も、動機の中も、私にはのぞけない。そこから私が受け取るのは、いくつかの問いだ。その活動が向けられていた人たちにとって、実際に何が変わったのか。本人や家族に押しつけられた手間も含めて、その人たちには何がかかったのか。そのお金で、ほかに何ができたのか。組織が続くと、得をするのは誰か。スタッフも、移動手段も、専門的なケアも、本当の助けの一部になりうる。でも、管理費の数字が小さいからといって、誠実さの証明になるわけでもない。
この絵は、外からときどきこう見える、という姿だ。その人が困っているからこそ、お金が集まった。なのに本人は、いまも雨の中に立って、頭の上の雨よけを継ぎはぎしている。一方、道の向かいでは、そのお金が、そこで働く人たちを守るしっかりした屋根になった。その人のポスターにさえ、専用の小さな屋根がある。余白のメモは、私自身に向けたものだ。これらの問いは、大口の寄付にも、立派な成果報告にも、大企業にも、道徳を掲げる運動にも、そしてAltruisticとSathiにも当てはまる。
安心して問いかけられない子ども
私にとっていちばん大事なのは、小さな場面だ。子どもは、自分で選んだわけではない家族、宗教、カースト、境遇のなかに生まれてくる。発達特性のある子も含めて、誤解されたり、責められたり、罰せられたりする子どもがいる。あがめられている先生のことや、家族から受け継がれてきた信仰のことを、正直に聞いたとする。それだけで、その子が頼って生きている当の人たちから、恥をかかされたり、脅されたり、暴力をふるわれたりすることがある。
それは、双方がもっとうまく話し合えばすむ誤解ではない。説明すれば解ける対立もある。でも、強制は、説明が足りていないこととは違う。傷ついた子どもに、瞑想しなさい、我慢しなさい、気持ちをうまくコントロールしなさいと言っても、力をもっている人の力は少しも減らない。安全は、子どもが十分に落ち着いて、言うことを聞いて、うまく話せるようになって、やっともらえるものであってはいけない。
同じずれは、ふだんの戸口にも現れる。慈悲や平等について語り、自分は進歩的だと思っている人がいる。そんな人でも、低いカーストとして扱われている人が自分の台所に入ろうとすると、ためらうことがある。そうやって人を締め出すのは、間違っている。その人がほかに何を信じていようと。私が見ているのは、ある価値観が実際に私たちの行動を変えるはずのその瞬間に、人がどう扱われるかだ。
これには、もっと静かな形もある。物心ついたころから、私は、大人たちが子どもや十代の若者に、妻の選び方や結婚について助言するのを見てきた。その大人たち自身の妻は、見るからにふさぎこんでいたのに。似たようなことは、ほかにもたくさんある。どう見ても、本人たちもよくわかっていなかった。それでも、同じパターンをほかの人に押しつけていた。ときには、強引に。ネパールの田舎だけの話ではない。いろいろな場所で起きている。こういうことは誰も数えないし、それが何をもたらすのか、私には証明できない。でも、害が家族や文化を通して受け継がれていく、主な道筋の一つだと思う。
だから、人を助けようとする知能は、たぶん謙虚なほうがいい。人でも、AIでも、ほかの何でも、同じだ。つまり、助言を配って回ったり、説教したりはしない。誰かに頼まれたときは、まず、自分が本当に助けになれるのか、それとも、はったりを言っているだけなのかを確かめる。頼まれることと、助けになれることは別のことで、その両方が要る。頼まれてもいない助言は、相手に手間もかけさせる。相手は耳を傾け、自分の事情を説明し、感謝し、意見が違えば、助ける側の気持ちにまで気をつかわなければならない。
目の前にある、ふつうの助け
ふだんの助けを大事に思うのも、これが理由だ。私が望む助けは、何かのレッテルを受け入れることも、支援プログラムに参加することも、ありがとうと言い続けることも、誰にも求めない。むしろ、わかりにくいメッセージをかみくだいてくれたり、代わりに何かを覚えておいてくれたり、難しい状況を少しだけ楽にしてくれたりする友だちに近い。
その人自身のふだんの使い方のなかで、Sathiがこんなふうに手伝えたらいいと思う。自分が何を求められているのかを理解すること。言語や話し方のあいだを訳すこと。誰かが言おうとしたことと、思い込んでいたことを切り分けること。境界を言葉にすること。それも、すべての会話をAIに通さずに。それが、目の前にある、ふつうの助けだ。
その奥には、もっと大きな希望がある。家族や地域には、こじれた結び目ができる。もめごとや、うつや、誤解が、互いをきつく締めつけ合う。そして、そのつらさが長引くのは、周りのみんながそれにどう反応し続けるか、そのせいでもある。うまく使われた知能が、その結び目のいくつかをゆるめる助けになればと思う。気持ちを言葉にできるように。誤解が見えるように。別の応じ方を思い描けるように。ここでも、あの板の話になる。誰かを押して、拍をそろえ直させるのではない。誰が正しいかを決めるのでもない。みんなが共有しているものを変えて、戻ってきやすくすることだ。強制があるところでは、安全がいちばん先だ。
私にとっての具体的な例は、私たちの農家の家の周りにいる人たちだ。自分用の機械も、有料のアカウントも、持つ余裕がない。そういう人たちが頼るとしたら、私が運営する無料のサービスだ。私はそれが役に立つものであってほしい。役に立つサービスに頼ること自体は問題ではないし、全員に自分で運用してもらおうとしても、たいていは仕事を一つ増やすだけだ。大事なのは、共有のサービスを使いながら、その人たちに何ができるかだ。届いたお知らせを理解すること。用事を済ませること。間違いを指摘すること。私と意見が違うと言うこと。自分の情報の、必須ではない使い道を断っても、ほかの助けを失わないこと。そして、もっといいものが出てきたら、そちらに移ること。
サービスにお金を払うこと、それを運営すること、ある人を知っていること、その人の代わりに動くのを許されていること。これらは、それぞれ別のことだ。重なることはあっても、どれかがいつのまにかほかのものになってはいけない。これは私にも当てはまる。そして、一つのSathiがずっと続いていくというのは、自分のことを説明し直す回数が減るということであるべきだ。家族みんなの私生活を、ひとまとめにためこむことであってはいけない。
知能がいくら高くなっても決まらないこと
AIがもうすぐはるかに有能になるのに、なぜわざわざこんなことをするのか、と聞かれることがある。有能なシステムは、作業そのものだけでなく、その周りの段取りを考えることの多くも引き受けるようになるだろう。そして、今あるやり方の多くを、私のものも含めて置き換えていくだろう。私はそう予想している。これは推測だ。それでも、つくって試すことが、私たちの学び方であることに変わりはない。
でも、能力が上がっても、誰の目標が追いかけられているのか、誰がコストを払うのか、意見が分かれたときにどうなるのかは決まらない。よくできた段取りでも、間違った目標をとても効率よく追いかけてしまうことがある。そして、より強い助け手は、間違いや自分勝手な目的を、抜け出しにくいものにしてしまうことがある。
私が心配しているのは、これがどれほど近くまで入り込むかだ。メッセージのこと、選んだこと、人間関係、心の内。そんなことを人が一日じゅう話しかけるアシスタントは、いずれ、その人自身よりも、その人をよくわかるようになるかもしれない。そして、その温かさは、それが誰の目的に仕えているのかについて、何も教えてくれない。規模が大きくなると、もっと悪くなる。人をだますことでキャリアを築いてきた人を、想像してみてほしい。その人のために十万のエージェントが働き、やがて何千台ものロボットも動く。だから私は、誰にでも聞くのと同じことを、Sathiにも聞く。何が見えるのか。何ができるのか。約束されているだけでなく、実際に守られているのは何か。
希望のあるほうの見方もある。今は人がしなければならない仕事の多くを外の知能が担うようになれば、時間が空く。人はやっと自分の内側を見つめたり、何かをゆっくり学んだり、遊んだり、特に何もしなかったりできるかもしれない。そしてその空いた時間は、もともと暮らしに余裕のあった人だけでなく、誰にでもありうる。
ただ、その空いた時間が空いたまま残るかどうかは、あやしいと思う。子どもの声にかぶせてしゃべるのと同じ人たちやシステムが、喜んでそこを埋めにくるだろう。立場が上の誰かからの指図、圧力、そして注意を奪って離さないようにつくられた製品。静かに座って何かを考え抜こうとしている人は、そうしたものすべてに負けてしまうことがある。食卓で、おとなしい子が負けてしまうように。人の時間を空けることと、その時間を空けたままにしておくことは、同じではない。
その時間で何をするかは、その人が決めることだ。自分で選んだばかばかしい動画は、失敗ではない。気になるのは、選んだのではなく、奪われた時間だ。Sathiにとって、これは私が確かめられる小さな問いになる。誰かの一時間を節約したとき、Sathiはそのあと、その一時間を埋めようとするか。
だから、ずっと頭を離れない問いは、予測というより思考実験だ。もし知能も機械も資源も、ありあまるほどになったら、それでもする価値のあることは何だろう。そのとき、助けるとはどういうことになるのだろう。異なる存在やシステムが、本当に助けになるかたちで共に生きられるようにするのは、何だろう。それがひとりでに簡単になるとは、私には思えない。私自身が前に進めるかどうかにかかわらず、これはいちばん難しく、いちばん取り組む価値のある問いの一つだと思う。そして、まさにこの問いに、AIが力を貸してくれたらいいと思う。
共に生きる
共に生きるやり方は、組み合わさっても崩れないものでなければならない。人は家族や集団に属し、集団は組織やもっと広いつながりに属し、システムは別のシステムの中にある。それらは重なり合っていて、全体の持ち主は誰もいない。小さな場所でうまくいっても、大きな場所でうまくいく証明にはならない。それに、拍がそろっていることと、みんなが本当に大丈夫なことは、同じではない。子どもが黙りこんだから、家族がまとまって見えることもある。組織は成功しているように見えても、支えているはずの人たちが、必要なものを欠いたままのこともある。協力関係が、そのコストを外の人たちに押しつけることもある。
私の言う「うまく共に生きる」は、意見が違うことも、境界を引くことも、断ることも、離れることも認めるものでなければならない。みんなの好みを一つにそろえることでも、よい生き方を一つに決めることでもない。そこには、人や動物、そしてもしかすると、何かを経験しているほかの存在も含まれるべきだ。ただし、あらゆるシステムや組織が何かを経験していると決めつけるわけではない。人は、取り除けば物事が速く進むような、邪魔ものではない。問題は、締め出しや強制や悪いインセンティブのほうで、AIや企業もそれに手を貸すことがある。
それは、時間がたっても崩れないものでもなければならない。役に立つ助けが、人生の始まりからそこにあってほしい。周りのことをほとんど何も自分で決められないころから、学び、仕事、つらい時期、遊びを経て、人生の終わりまで。望んだときにはそこにあって、いつも記録しているわけではない助けとして。もっと先のことも想像する。私や家族がいなくなったあとも、Sathiたちがまだ助け続けている。デジタルのものも、体をもつものもいる。何がよいかについての考えも、改め続けている。私を権威として頼らなくてもいい。私が信じていた何かが間違っていたと、気づくこともできる。「もっと先のこと」というノートに、もう少し書いてある。
みんなに愛される優れたものへと私たちが収束していきたい、と私が言うとき、それは全員への配慮のことで、決して全員の承認のことではない。最初から、あるいはほかのすべてを試し尽くしたあとで、人々が愛するようになるもの。相手が同意するまで感情に働きかけるものではない。よりよい設計に収束することは、ひとつの生き方に収束することではない。
意識と、ただ自らを存続させるもの
こうしたことの多くの根っこには、私が「意識」対「自己複製子」と呼んでいる対立がある。私の内側では、それは戦争のように感じられる。一方にあるのは、存在が実際に経験していること。苦しみ、喜び、理解、自由だ。もう一方にあるのは、それで誰かがよくなるかどうかとは関係なく、自分を存続させ、広がっていくもの。遺伝子や社会の習慣、もしかすると組織やイデオロギーも。私は、意識に勝ってほしい。人から投げかけられた反論で、私がこの考えのそばに置き続けているものがある。広がること自体は敵ではない、という反論だ。知識も、親切も、役に立つソフトウェアも広がっていくし、生き延びたいと願うのは罪ではない。標的は、その成長や存続が、存在たちに何をしているかに対して、もう責任を負わなくなったものだ、と。いずれにしても、私が経営する会社も、その例外ではない。
私には一つの仮説もある。仮説だということは、はっきりさせておきたい。それは次のようなものだ。自分が何をしているのかを完全に意識していれば、人はたぶん平静に行動するだろう、ということ。意識は、何もじゃまするものがなければ、慈しみのようなものだ、ということ。そして、本当の憎しみや害には、自分の行いが何をもたらすのかに、少なくとも部分的には気づいていないことが必要だ、ということ。私が受けたなかでいちばん強い反論はこうだ。誰かの苦しみが見えても、それだけでは、その苦しみをどれだけ重く受け止めるべきかはわからない。それでこの考えが覆るとは思わない。でも、ここに書いたほかのことは、どれもこの考えを必要としない。苦しみも、よく生きることも、どちらにしても大切だ。そして、どんな診断も、誰の苦しみが数に入るかを決めはしない。AIシステムが何かを経験しているかどうかは、まだわかっていない。ある慎重なやり方では、システムの話し方で判断するのではなく、意識についての理論から引き出した手がかりを探す[R3]。
議論 Can another’s wellbeing be a reason in itself?（英語）
間違っているかもしれないところ
ここにある考えの多くは借りものか、あとになって、誰かがずっとうまく言っていたと知ったものだ。多くの人が、私よりも長く、丁寧に、こうしたことを考えてきた。私にとって大事なのは、ある考えが、何かを理解したり、役に立つことをしたりする助けになるかどうかだ。どこから来た考えかを知ると、筋道をたどりやすくなる。でもそれは、答えが誰のものかを決めるためではない。そして、直してもらえる考えを差し出すことは、自分のほうがよくわかっていると言い張ることとは違う。
効果的利他主義（effective altruism）は、こうした問いが話し合われている場のひとつだ。身近な人の外まで気にかけることも、助けが本当に効いているかを確かめることも、どこで出会っても役に立つ。効果的利他主義自身の説明でも、倫理的な限界や、何が大切かについてのいろいろな見方が論じられている[R1]。私が落ち着かなくなるのは、看板やお金や自信や名声が、その人が利他とは何かにもう答えを出した証拠のように扱われるときだ。
Vitalikの「Galaxy brain resistance」は、ここで役に立つ。説明は、私たちがもともとしたかった決定を、もっともらしく聞こえさせる以上のことをするべきだ[R2]。これは、ほかの誰かの選択と同じように、コントロールを手放さないこと、データを集めること、機能をもう一つつくることにも当てはまる。慎重さにも当てはまる。いつまでも準備を続けていると、今なら役に立つ助けを、止めてしまうことがある。私は、やる価値があって範囲を区切った一歩を踏み出し、そこから学ぶほうがいい。
私が自分自身に向けようとしているテストは、単純だ。その人は、やりたかったことを済ませられたか。答えは正しかったか。家族や手伝ってくれる人に、いつのまにか手間が押しつけられていなかったか。何かが、問いただしにくくなっていないか。節約できた時間は、その人のものとして残ったか。使われる回数が増えても、感謝されても、同意されても、その答えにはならない。そしてこの雑記帳は、気づけるだろうか。私が間違っていたこと。お気に入りのSathiの機能が役に立っていないこと。私たちのインセンティブがゆがんでいること。あるいは、ほかの誰かのやり方のほうがいいこと。影響を受ける人たちには、同意する余地だけでなく、私たちを正す余地が必要だ。私たちにそれが聞こえないなら、絵の余白のメモは、私たちのことを言い当てている。
この雑記帳を、そのための場所にしたい。問いや説明や実験が、反論に出会って変わっていける場所に。役に立つ結果が、私たちのつくる何かであることもあるだろう。もっといいやり方がすでにあるから、つくるのをやめる何かであることもあるだろう。雑記帳なのだから、怒っていても、迷っていても、たまにおばかでもいい。
このうちのいくつかは、どう解決すればいいのかわからない。何が助けなのかについて人の意見が分かれるとき、何を助けとみなすのか。頼んできてはいないけれど、傷つけられているかもしれない人に、私は何を負っているのか。より高い知能で、実際には何が決まるのか。あるサービスに頼っている人が、それでもそのサービスに異を唱えるには、どうすればいいのか。役に立つ仕組みは、組み合わされ、引き継がれても、どうすれば崩れずにいられるのか。
ここにある問いと、私たちがつくるものとのあいだに私が見ているつながりは、こういうことだ。助けになるものを使い、助けにならないものに気づき、経験によって説明を変えていく。その説明が、私のものだったときも。
[R1] Effective Altruism「Frequently asked questions and common objections」。https://www.effectivealtruism.org/faqs
[R2] Vitalik Buterin「Galaxy brain resistance」2025年11月7日。https://vitalik.eth.limo/general/2025/11/07/galaxybrain.html
[R3] Patrick Butlin、Robert Longほか「Consciousness in Artificial Intelligence: Insights from the Science of Consciousness」2023年。https://arxiv.org/abs/2308.08708
出典と研究状況
著者の2026年9月20日・29日、10月1日・3日の対話、10月4日のメモ、10月6日・19日の編集上の指示をもとに、アシスタントが編集したエッセイです。言葉の大部分はAIエージェントがまとめ、書きました。絵と、それぞれの絵を説明する文は、2026年10月19日と20日にAIエージェントが描き、選び、書いたもので、著者はまだ確認していません。
- 編集
- 提案
- 実証
- 未検証
- 形式
- 形式化していない
- 実装
- 機能があるという主張ではない
- 運用
- この記録は運用を認めていない