t_wの輪郭

文節移動についてもう一つ思うのは、縦方法に文節を並べたときに、親項目にjoinされた文章が表示されたら便利なんでないかということだ。

例:

• 今日は良い天気だ
  • 今日
  • は
  • 良い
  • 天気
  • だ

これの利点は、文節移動した後に文節の区切りが変化しないことだ。人間様がトークナイザーのご機嫌をうかがわなくて済む。