トークンで悩んでいる

1. アンダースコアとハイフンは名前文字にした。
2. が、ハイフン〈マイナス〉は名前開始文字ではない。
3. アンダースコア一文字で名前になる。
4. ハイフン〈マイナス〉一文字はオペレーター〈Operator〉という型のトークンになる。
5. 0-signature, 1-mor などは、番号付き識別子〈NumIdentifier〉という型のトークンになる。
6. 2e3 は数値になる。
7. 非アスキー文字は一文字ずつトークン化される。
8. いわゆる全角文字は、すべて非アスキー文字扱いなので、名前と演算子の区別はなくなる。トークン修正フェーズで区別する。