ちょっと正規表現をいじっていて、思い立った。 正規表現でTokenもどきが出来るのでは？と。 結果ですが、、、長大な文字列では、正規表現の方が早い。 Tokenは文字列編集を繰り返すからでしょうね。 多分、長大でなかったら、メモリ分Tokenが有利かな？