1、These directives are used to define the tokens the lexer can return.
這些指令用來定義lexer可以返回的記號。

2、KOREAN_LEXER: a lexer for extracting tokens from Korean text.
KOREAN_LEXER：一個(gè)從Korean文本在中提取標(biāo)記的lexer。

3、Why does the lexer rule for strings takes precedence over all my other rules?
為什么字符串的詞法規(guī)則優(yōu)先于我的所有其他的規(guī)則？

4、Thus, p: : RD on top of Perl 5 is a powerful parser and lexer combination.
因此，Perl5之上的P：RD是一個(gè)解析器與詞法分析器的強(qiáng)大組合。

5、How to use an Alex monadic lexer with Happy?
如何使用一個(gè)亞歷克斯一元詞法分析器與快樂嗎？

6、Whenever possible, try to develop separate tests for your lexer and your parser.
只要有可能，請嘗試為您的lexer和解析器開發(fā)單獨(dú)的測試。

7、CHINESE_VGRAM: a lexer for extracting tokens from Chinese text.
CHINESE_VGRAM：一個(gè)從Chinese文本在中提取標(biāo)記的lexer。

8、JAPANESE_VGRAM: a lexer for extracting tokens from Japanese text.
JAPANESE_VGRAM：一個(gè)從Japanese文本在中提取標(biāo)記的lexer。

9、JAPANESE_LEXER: a lexer for extracting tokens from Japanese text.
JAPANESE_LEXER：一個(gè)從Japanese文本在中提取標(biāo)記的lexer。

10、It USES start states — a feature allowing the lexer to match some rules only some of the time.
它使用了start聲明——這項(xiàng)功能使lexer能夠只在一些時(shí)候去匹配某些規(guī)則。

11、A listing of supported lexer types follows.
下面是一個(gè)支持lexer類型的清單。

12、A good lexer example can help a lot with learning how to write a tokenizer.
一個(gè)好的lexer例子會非常有助于學(xué)習(xí)如何編寫斷詞器（tokenizer）。

lexer翻譯