推論主義のコミットメント概念は、言語モデルに「信念」を認めるための、解釈主義と同等に見込みのある概念機構なんだよね。
#open_question
主張を行うことは再帰的な影響を持つ。主体 P が「共同体 C が好き」と主張すれば P と C との距離が小さくなり、「共同体 C が嫌い」と主張すれば P と C との距離が大きくなる。これは距離学習の問題として定式化できそう。
Hurley et al. (2015) のユーモアの不一致説における不一致は、内部モデルと与えられた情報の不一致として予測誤差理論の内で統計論的に定式化できる。また、理解可能性と新規性の連言として与えられる Silvia (2008) の面白さという概念もまた、予測誤差理論の問題として解釈できる。笑いの記号論の予測誤差理論的探究の道がある。
Kaplan のいう〈意味特性（character）〉と〈内容（content）〉の対比は、語ベクトルと文脈ベクトルの対比に同じ（留保付き）
もし人間が注意機構と同様に文を処理しているならば、文脈可感的でないことはありえない。よって固有名の多義性説はありえない。
「king - man + woman = queen」は Fodor のいう合成性に適っているのかな。Fodor and Lepore (1991) の黄色い牛の例を見ると、言えそうなんだよな。つまり合成性の原理は Mikolov の単語ベクトルまでは若干保たれていると言えて、Transformer 以後は言えないということなのかもしれない。
語は音韻として符号化されているとする音韻類似性効果はまさに BPE だよね。BPE に心理学的正当性を与えることは出来るのではないだろうか。
画像を入力データに与えることができるChatGPT o1やマルチモーダル共同埋め込みを見れば、視覚等に依存する因果説的指示がポスト意味論的であることが分かる。
聴覚信号や言語的な文字列といった異種メディア間の対照学習（contrastive learning）や共同埋め込みといった手法は、実質的にセラーズのジレンマを解決していると言えないだろうか？
Russellは、知識を〈直知による知識〉と〈記述による知識〉に分類した。記号接地問題は、後者ではなく前者に関する問題である。〈記述による知識〉の獲得・運用は現在のLLMにって既に達成されたが、〈直知による知識〉の獲得＝記号接地は身体性抜きではありえない。
しかし、仮に現在のマルチモーダル大規模言語モデル (MLLM) が既に直知による知識の獲得に成功しているとしよう。そうだとすれば、MLLM のセンサーが受けている何かはセンスデータではありえないのだから、直知による知識はセンスデータとは関わりがないことになる。
クオリアの議論とどう繋がるかは分からないが、デネットの独我論否定の仕方（言語を共有することから間主観性を推測する）は、言語モデル空間と視覚モデル空間の一致性（Li et al. 2023）によって上手く補佐できそうにも思える
Saussure の言語の恣意性テーゼは Transformer によって完全に証明される。語などの言語的タイプにおける記号表現と記号内容（埋め込み表現）の結び付きは符号化の仕方に相対的であり恣意的である。例外なく、オノマトペも同様の仕方で埋め込まれる。認知言語学はこの点で全く的を外している。我々が音象徴の語を判別可能である（「ブーバ」と「キキ」のどちらが〈硬い〉か）ことは、言語が身体性を必要条件とすることを示す十分な論証ではない。なぜか。識別はパターン認識でも代用可能であるだろうからだ。どちらの音が与えられる形容詞に合致するかは、身体性抜きの統計的尤度で判別できる。
統語論がsoftmax関数の温度パラメータの関数に過ぎないとすれば？ 言語の創造性が温度パラメータ（分布の尖度）に過ぎないとしたら？
認識論的徳からトップダウンに知識を定義する徳認識論において、人工知能などの非人間的存在の「知識」を「知識」と言えるのかという疑問がある。たとえばSosaのAAA構造による知識の定義を採るならば、その非人間的存在にも認識的な能力と信念保持能力を認める必要があるが、非人間的存在がこれらを保持できるかどうかは明らかではない。それに加えて、AAA構造は知識の価値をその定義に組み込むことによって、学習物理学等の人工知能科学における知識を説明出来なくなるおそれがある。ある信念が知識であるために信念を生む主体の徳が必要であるならば、徳を持つとは考えにくい深層学習モデルの出力する文（信念？）は知識でなくなるだろう。
#epistemology #philosophy_of_AI #AI_scientist #open_question
分析が有益であるとは、距離関数が定義された埋め込み空間上において、分析双条件文の左項の埋め込みと右項の埋め込みが近接しかつ距離が零でないとき、かつそのときに限る。分析が正確であるとは、左項と右項が等しいことに他ならない。
言語モデルは確率分布の列 \( (p(y_1), \dots, p(y_n)) \) を返すと定式化できる。これは、ブランダムが指摘するような規則主義でも傾向性主義でもない。数学的に定式化しよう。規則主義はコーパスデータそのものである。傾向性主義は、統計的言語モデルやマルコフモデルにおける確率分布である。
ヒューム主義と反ヒューム主義の対立は次のように言い換えることができる。つまり、関数を点列から生み出すゲルファント変換的観念にヒューム主義が対応し、点列を関数から生み出すサンプリング的観念に反ヒューム主義が対応する。
因果に関する実在論的な反ヒューム主義と認識論的なヒューム主義を折衷して以下のように述べることができる。宇宙の法則と我々の認識の関係はエンコーダとデコーダの関係に似ている。つまり、基礎物理学における法則は単なる規則である点列を生み出し、我々の認識はそれらの点列から因果を再構成する。
「現在の状態を \(x\) 、1時間後の状態を \(y\) と措くと、ある種の法則は \(y = f(x) \) という関数関係を成り立たせる」という表現は、関数に時間を内包してしまうために極めて危うい。もし \(f\) が全単射である、つまり逆写像が存在した場合、未来から過去への因果的関係の存在を含んでしまうだろう。『哲学のキーコンセプト 因果性』の第7.7章では「関数の逆関数が与えられたとしても、『逆向きの影響が存在する』と解釈してはならない」などと述べられるが、この点、構造方程式における等号は厳密な等号ではなく、階型的・時相的な代入子（:=）であるように思える。これは構成論的集合論によるRussellの逆説の回避の仕方に似ている。結果事象が原因事象の存在に随伴するという因果的な非対称性を組み込むためには、構造方程式における等号は、非実在論的・構成論的な代入的等号として解釈される必要がある。
蟻の書いた文字と人が書いた文字を弁別するために恒常安定性を用いる目的意味論よりかは、意図主義の方が妥当に思える。意図主義において言語モデルの発話の有意味性を担保するならば、意図の多重実現可能性に賭けるしかない。
Client Info
Server: https://mastodon.social
Version: 2025.07
Repository: https://github.com/cyevgeniy/lmst