検索ボタンを押下すると、手書きするフォームが現れ、そこに手書きすると類似度の高い図が検索される
図の部分選択検索
手書きの図をビャって囲って、囲った部分と一致度が高い図を検索できると便利そう。
例えば星マークを選択して検索したら、同じく星マークがついた図が検索されてくるってわけ。
つまり、文字を書いた部分を囲って検索すれば、似たような文字を書いてる部分が検索されてくるんですよ!
で、図の選択部分に検索結果をリンクさせるみたいなことができたら便利そうじゃない?
あれ
デジタル機器上を用いた手書きによる個人知識管理を思いついた。
当初、手書きしたデータをデライトに貼り付けて、引き入れによる整理と、文字による検索を考えていたが、そうするよりも手書きした図画を記号として扱って、手書きで図を検索する方がよほど直感的ではないかと考えるようになった。
確か画像の指紋というだったり、特徴量といったものがあったはずで、それらを事前に計算しておき、インデックスのように扱うことで、手書きの図で手書きの図を検索できるはずだ。
手書き画像の高速共有がkakeru.appで実現されていることが発覚し、手書き共有ウェブアプリ TwEgaku(仮)開発のやる気を失っていたが、個人知識管理サービスに昇格することで、より良いものにできる見通しが立ち、再びやる気が出てきた。
あれ
手書き検索の処理をローカルPCで試してるんだけど、1つ書くごとにPCがうなりを投げてる。その割に検索精度が低い。
検索に使う特徴量を事前計算して、さらに索引にすれば処理の負荷が減らせそうなんだけど、現時点では検索精度向上に向けた開発を高速化するために毎回特徴量を計算してる。
手書きの図の類似度判定は、離散コサイン変換してその係数のユークリッド距離を取ってる。いろいろ試したけどこれが一番精度が良い(なお精度が低い)。オートエンコーダーが脳裏をよぎる。ニューラルネットワークやりたくねぇずら。
検索精度向上のために、手書きの軌跡を結合してたらサーバープログラムが落ちた😇