t_wの輪郭

TwEgakuの手書き検索も、精度を改善する筋道がほんのり見えてきた。

一般の人間は、コンピュータを使うとき、与えられた記号を使うのが精々だが、手書き検索が実用化されれば、記号を好き勝手に作り出し、それを縦横無尽に使うことが可能となる。

絵文字を作ってもいいし、新しい言語を作っても良い。

https://youtu.be/heCubLT0qNA

https://i.gyazo.com/f232944ff4f03acff0754f99b70a892d.gif

　『人生たのベントカレンダー🎶 Advent Calendar 2022』の場を借りて、私が作ってる手書きメモサービス TwEgaku（以下TwEgaku）を紹介させていただきたい。

　TwEgakuは手書きでメモができるサービス（ウェブアプリ）だ。メモ。なのでお絵描きではない。いやお絵描きに使ってもいいんだけど、あくまで主眼はメモにある。

開発の文脈・きっかけ

　「きょうび手書きとか流行らねーんだよ。いま令和ぞ？」と思われるかもしれない。「キーボードの方が入力早いじゃん」と思われるかもしれない。

　『ゼロ秒思考』という本では、「メモ書き」というA4のコピー用紙に書き殴るという行いが紹介されている。これを1日に10分で10枚（1枚当たり100文字程度なので、1日に1000文字程度）書くと頭に良いとされている。が、1日に1000文字を書くというのはなかなか難しい。書くことがなくなる。そうなのだ。手書きでさえ1日10分も書けば書くことがなくなるのだ。キーボード不要説が立ち上がる。
　また、このメモ書きというのは存外楽しい。このメモ書きに私はとらわれていた。1日10枚のメモ書きをしていたところ、段ボールひと箱分のA4用紙が消費され、そのメモが死蔵されていた。メモをため込めば活用したいという気持ちが湧きおこるのは自然なことだろう。ただ、このメモらをスキャンしてOCRにかけて……という風にする気にはならなかった。あまりに数が多すぎた。せめて新しいメモぐらいは電子化しておきたいという気持ちになり、DPT-RP1というSonyが販売した電子ペーパー機器をおよそ5年前の2018年ごろに購入するに至った。
　DPT-RP1の機能の詳細は省く。結論から言うとこれでメモ書きするのはダメだった。機器自体に検索機能が搭載されていない。大きく外で使いにくい。ペン先はみるみる削れていく。充電が切れる。パソコンとの接続が面倒。紙と電子機器の悪い所取りをしたような機器だった(もちろん利点がないわけではない。大量のPDFを手軽に持ち歩くことができる。論文を読むのには最適だった)。この失敗を経てなお、私の中には手書きのメモ書きを保存し、検索し、活用したいという思いがくすぶり続けていた。

　話は今年の2022年5月まで飛ぶ。良いカメラが付いたスマホが欲しいなと思い、Galaxy S22 Ultra 5Gを買ったところ、「Sペン」というペンが本体に収納されていた。なんとなくこれでメモを書いて、そのメモのスクリーンショットを『デライト』という公開メモサービス上に投稿したところ、『良さ』を感じた。手書きのメモを公開することにルネサンスを感じた。ただ、「メモを書いて、スクリーンショットを取って、Gyazoにアップロードして、URLを取得して、そのURLを書き換えて、デライトに張り付ける」という手順はあまりに手間がかかる。「メモを書いて、URLを取得して、デライトに張り付け」ができる、手書き版のGyazoみたいなサービスがあったら最高だろうなと思われ、そうしたサービスの開発を開始した。

kakeruという先行事例の発見

　そうしてサービスの開発を進めていたところ、kakeruというウェブアプリを発見した。kakeruを試したところ、「メモを書いて、URLを取得して、デライトに張り付ける」が実現されていた。まさに作っているモノがすでに実現されていて絶望してしまった。
　開発の中断も検討したが、幸いにも手書きで手書きメモを検索する「手書き検索」を思いついたためにTwEgakuの開発は継続された。手書き検索を思いつき、その機能に良さを感じたのはやはり、「メモ書きを保存し、検索し、活用したい」という思いがあったからだろう。

iPad mini 6とApple Pencil（第2世代）、ポチっちゃった

　2022年のブラックフライデーでiPad mini 6が割引になっているのを発見してしまった。「手書きするウェブアプリを作るならApple Pencilは避けて通れないよなぁ」と思って価格調査していたところだった。ポチってしまった。1か月ほど使ったが今のところ後悔はしていないです。いずれ買っていただろうため、タイミングが良かった。

TwEgakuの行く先

　「手書きルネサンスでタイピングを逆に時代遅れの技能にしていくぞッ」というような意気を持つところまでは至ってない。とりあえず糊口をしのげるようになりたい。パクリが出るくらい流行ってほしい。
　後、最近電子ペーパー端末がポツポツ出てるのが気になる。試したいけどこれ以上ガジェット増やすと運用できないのでなんともかんとも。

そんな感じです

　はい。大体書き終わったのでこの辺にします。TwEgakuは「https://twegaku.towasys.com」から利用可能なので、気になったらぜひ使ってみてください。

　手書きが大量にある状態で検索かけると12秒とかめちゃくちゃ時間かかるので、そろそろ高速化に手を付けないとヤバい。

　Canvasというウェブアプリを発見してしまい、手書き検索に対応していたらどうしようかと思ったが、対応していなかったので安心した。

　手書き検索の処理をローカルPCで試してるんだけど、１つ書くごとにPCがうなりを投げてる。その割に検索精度が低い。
　検索に使う特徴量を事前計算して、さらに索引にすれば処理の負荷が減らせそうなんだけど、現時点では検索精度向上に向けた開発を高速化するために毎回特徴量を計算してる。

　手書きの図の類似度判定は、離散コサイン変換してその係数のユークリッド距離を取ってる。いろいろ試したけどこれが一番精度が良い（なお精度が低い）。オートエンコーダーが脳裏をよぎる。ニューラルネットワークやりたくねぇずら。

　検索精度向上のために、手書きの軌跡を結合してたらサーバープログラムが落ちた😇

　デジタル機器上を用いた手書きによる個人知識管理を思いついた。
　当初、手書きしたデータをデライトに貼り付けて、引き入れによる整理と、文字による検索を考えていたが、そうするよりも手書きした図画を記号として扱って、手書きで図を検索する方がよほど直感的ではないかと考えるようになった。
　確か画像の指紋というだったり、特徴量といったものがあったはずで、それらを事前に計算しておき、インデックスのように扱うことで、手書きの図で手書きの図を検索できるはずだ。

　手書き画像の高速共有がkakeru.appで実現されていることが発覚し、手書き共有ウェブアプリ TwEgaku(仮)開発のやる気を失っていたが、個人知識管理サービスに昇格することで、より良いものにできる見通しが立ち、再びやる気が出てきた。

検索ボタンを押下すると、手書きするフォームが現れ、そこに手書きすると類似度の高い図が検索される

　手書きの図をビャって囲って、囲った部分と一致度が高い図を検索できると便利そう。

　例えば星マークを選択して検索したら、同じく星マークがついた図が検索されてくるってわけ。

　つまり、文字を書いた部分を囲って検索すれば、似たような文字を書いてる部分が検索されてくるんですよ！

　で、図の選択部分に検索結果をリンクさせるみたいなことができたら便利そうじゃない？