Attention 機構と記号の身体性（メモ書き）

記号は人の現実経験を蘇らせて身体性を持ち得る。 人から見ると、記号によって現実経験に基づいたリアルな感覚を体験できる。

記号 → 現実経験 → 感覚

と写像のようにこの過程を表現できるが、記号と現実経験は決して一対一の関係ではない。 人が経験した現実は有限であるが、記号は無限にある。 記号a → 現実A 等々とすると、記号には a と b の間に両方でもないものが無数に存在する。 では上記図式は如何にして成り立つか？

• 感性 f ← 現実経験
• 感覚 = f (記号)

である。

感性は、現実経験によってチューニングされ続けてきた連続的空間である。 よって、連続的記号が感覚への連続的写像が可能になる。

Function Approximation と同じである。 その中で特に類似するのが Attention である。

有限な Key-Value ペアで構成される「辞書」で、クエリ Query で相応の Value を取得するが、 Query は必ずしも辞書に存在する Key のいずれかに一致しない。 しかし、行列計算によって写像は可能である。

value = Q K' V

ここで、

• Q = 記号
• K = 経験
• V = 感覚