Pygment lexer multiple tokens
Pygment lexer multiple tokens
我正在使用Pygments的词法分析器,一个Python插件。我想获取C++代码的令牌,特别是当声明新变量时,例如
int a=3,b=5,c=4;
这里 a,b,c 应该被赋予类型"声明的变量",它不同于
a=3,b=5,c=4;
这里 a,b,c 应该简单地给出类型"变量",因为它们之前已经声明过。
我想使用词法分析器一次扫描多个令牌的能力(请参阅Pygments文档)我想按照以下行编写一个正则表达式
(int)(s)(?:([a-z]+)(=)([0-9]+)(,))*, bygroups(Type,Space,Name,Equal,Number,Comma)
("?:"只是告诉侏儒,这个分组不应该在by组中使用。
但是,它不是匹配行中任意数量的声明,而是只返回行中最后一个声明的标记(在本例中为"c=4"部分)。如何让它返回行中所有声明的令牌?
你需要的是一个有状态的词法分析器。您的正则表达式不会的原因 工作是因为小组不是连续的。
int a=3,b=5,c=4;
在这里,您希望字符 0..2 为类型、3..3 空格、4..7 名称、等于 数字和逗号,然后再次名称,等于,数字和逗号。那不 好。
解决方案是记住何时看到类型声明, 进入新的词法分析器模式,该模式一直持续到下一个分号。看 更改 pygments 文档中的状态。
下面是一个使用 CFamilyLexer 并添加三个新词法分析器的解决方案 国家。因此,当它在function
中看到这样的线条时 州:
int m = 3 * a + b, x = /* comments ; everywhere */ a * a;
首先,它消耗:
int
它与我添加的新规则匹配,因此进入vardecl
状态:
m
哦,变量的名称!由于词法分析器处于vardecl
状态, 这是一个新定义的变量。将其作为NameDecl
令牌发出。然后 进入varvalue
状态。
3
只是一个数字。
*
只是一个操作员。
a
哦,变量的名称!但现在我们处于varvalue
状态,所以它不是变量声明,只是一个常规变量引用。
+ b
一个运算符和另一个变量引用。
,
变量的值m
完全声明。返回到vardecl
状态。
x =
新的变量声明。
/* comments ; everywhere */
另一个状态被推送到堆栈上。在评论令牌中,这将 否则具有重要意义,例如忽略;
。
a * a
x
变量的值。
;
返回到function
状态。特殊变量声明规则 都完成了。
from pygments import highlight
from pygments.formatters import HtmlFormatter, TerminalFormatter
from pygments.formatters.terminal import TERMINAL_COLORS
from pygments.lexer import inherit
from pygments.lexers.compiled import CFamilyLexer
from pygments.token import *
# New token type for variable declarations. Red makes them stand out
# on the console.
NameDecl = Token.NameDecl
STANDARD_TYPES[NameDecl] = 'ndec'
TERMINAL_COLORS[NameDecl] = ('red', 'red')
class CDeclLexer(CFamilyLexer):
tokens = {
# Only touch variables declared inside functions.
'function': [
# The obvious fault that is hard to get around is that
# user-defined types won't be cathed by this regexp.
(r'(?<=s)(bool|int|long|float|short|double|char|unsigned|signed|void|'
r'[a-z_][a-z0-9_]*_t)b',
Keyword.Type, 'vardecl'),
inherit
],
'vardecl' : [
(r's+', Text),
# Comments
(r'/(\n)?[*](.|n)*?[*](\n)?/', Comment.Multiline),
(r';', Punctuation, '#pop'),
(r'[~!%^&*+=|?:<>/-]', Operator),
# After the name of the variable has been tokenized enter
# a new mode for the value.
(r'[a-zA-Z_][a-zA-Z0-9_]*', NameDecl, 'varvalue'),
],
'varvalue' : [
(r's+', Text),
(r',', Punctuation, '#pop'),
(r';', Punctuation, '#pop:2'),
# Comments
(r'/(\n)?[*](.|n)*?[*](\n)?/', Comment.Multiline),
(r'[~!%^&*+=|?:<>/-[]]', Operator),
(r'd+[LlUu]*', Number.Integer),
# Rules for strings and chars.
(r'L?"', String, 'string'),
(r"L?'(\.|\[0-7]{1,3}|\x[a-fA-F0-9]{1,2}|[^'n])'", String.Char),
(r'[a-zA-Z_][a-zA-Z0-9_]*', Name),
# Getting arrays right is tricky.
(r'{', Punctuation, 'arrvalue'),
],
'arrvalue' : [
(r's+', Text),
(r'd+[LlUu]*', Number.Integer),
(r'}', Punctuation, '#pop'),
(r'[~!%^&*+=|?:<>/-[]]', Operator),
(r',', Punctuation),
(r'[a-zA-Z_][a-zA-Z0-9_]*', Name),
(r'{', Punctuation, '#push'),
]
}
code = '''
#include <stdio.h>
void main(int argc, char *argv[])
{
int vec_a, vec_b;
int a = 3, /* Mo;yo */ b=5, c=7;
int m = 3 * a + b, x = /* comments everywhere */ a * a;
char *myst = "hi;there";
char semi = ';';
time_t now = /* Null; */ NULL;
int arr[10] = {1, 2, 9 / c};
int foo[][2] = {{1, 2}};
a = b * 9;
c = 77;
d = (int) 99;
}
'''
for formatter in [TerminalFormatter, HtmlFormatter]:
print highlight(code, CDeclLexer(), formatter())
- C++ 链接到单独的.cpp文件说"multiple definitions"
- "multiple overloads"使用具有重复类型的模板化类
- 使用"multiple"命名空间单行
- 仅在使用 gradle 在 Travis CI 上编译时才"multiple definition" googletest 符号
- Qt5 C++中出现意外"Multiple definition"错误
- 为什么只有一个库的链接器错误'multiple definitions'?在 Android Studio 中使用 CMake (3.4.1)
- 如何使用 Eigen::Tensor::convolve with Multiple Kernel?
- 编译代码时"[Warning] extra tokens at end of"
- 为什么会给出"multiple test case"错误?
- "multiple definition of"链接错误
- 编译mbed操作系统程序时"multiple definition of `main'"错误
- C++ 使用生成文件捕获框架'multiple definition'链接器错误
- 为什么会出现"Multiple Definitions"错误
- 'Multiple Definition'错误
- 无缘无故地"Multiple definition"
- 使用 Qt 创建器时出错:"multiple definition" "first defined here"
- C++:" multiple definition of 'mainCRTStartup' "错误等
- "multiple definition of value"在 g++ 中编译具有未初始化全局但不是 gcc 的 C 程序时
- 调试"multiple definition of ..."错误的一般技术?
- Pygment lexer multiple tokens