あれ
書きかけ&考え中
目的
- LLMの推論において、知識に基づく推論をさせて、誤った回答を防ぎたい
- LLMの学習を「知識をDBに追加している」と考えたとき、極めて低速であり、「知識の追加」をLLMの外部に置いて高速化したい
道筋
自然言語で記述された文章から「知識」を抽出し、その「知識」をPrologのように機械的に検証できれば、LLMの出力を検証できるはず。
RDBの一つのテーブル(など)で「知識」を表現できれば便利なはず。
「知識」を一つのテーブルに格納するには、固定長のカラムによって「知識」を表現しなければならない。
加えて、固定長のカラムで「知識」を表現できると美しく感じられるので嬉しい。
aRbを出発点とする。
単純な文
"Penguin is bird" という文について考える(正しい英文はPenguin is a birdになるが、簡単のためにaは省略している)。
aのみを主語にすれば、Rb(a)となり、is bird(鳩) となる。
加えてbを主語にすればR(a,b)と表すことができる。すなわち、is(penguin, bird) となる。
さらにRを主語化すればT(a,R,b)と表すことができる。つまり、T(penguin ,is, bird) となる。
この時のTは「真実であると主張すること」としておく。
修飾を持つ文
"Penguin is swimming bird" という文について考える。
先の 単純な文 の結果から拡張すれば、T(penguin, is, swimming bird) となる。
T(penguin, is, swimming bird)がT(penguin ,is, bird)に含まれることは人間には推論可能だが、機械的には推論が難しく、機械的推論可能な形式に変形したい。
そこで、T(penguin, is, swimming bird)のbを分離させ、T(penguin, is, swimming)とT(penguin, is, bird)の二つに分離することを考える。これによって"Penguin is swimming bird"の"is bird"の箇所については"Penguin is bird"から推論可能となった。
複雑な文
"Pressures produced when penguins pooh"という文について考える。
T(pressure, produced, when penguins pooh)