python - 程序将字符读取为换行符
问题描述
我有一个我一直在制作的编译器代码的简化版本,一个奇怪的事件让我感到困惑。这是简化的代码:
LETTER = ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm',
'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z',
'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J', 'K', 'L', 'M'
'N', 'O', 'P', 'Q', 'R', 'S', 'T', 'U', 'V', 'W',
'X', 'Y', 'Z']
WHITESPACE = [' ', '\n', '\r', '\v', '\t', '\f']
SYMBOL = [';', ':', ',', '[', ']', '{', '}', '(', ')', '+', '-', '*', '=', '<']
input_file = open('input.txt', 'r')
line_num = 1
def get_token():
global line_num
value = ''
input_char = ''
value = input_file.read(1)
if value in WHITESPACE:
start = line_num
if value == '\n':
line_num += 1
return "whitespace", value, start
elif value in LETTER:
input_char = input_file.read(1)
while input_char != '':
if input_char in LETTER:
value += input_char
elif input_char in SYMBOL or input_char in WHITESPACE:
input_file.seek(input_file.tell() - 1)
return 'id', value, line_num
else:
value += input_char
return 'invalid', value, line_num
input_char = input_file.read(1)
return 'id', value, line_num
elif value in SYMBOL:
return 'symbol', value, line_num
elif value == '':
return None
else:
return 'invalid', value, line_num
while True:
token = get_token()
if token:
print(f"({token[2]}, {token[0]}, {token[1]})")
else:
break
input_file.close()
这是输入文件的内容:
prod;
}
这是我想要实现的输出:
(1, id, prod)
(1, symbol, ;)
(1, whitespace,
)
(2, whitespace,
)
(3, symbol, })
但相反,这是我得到的输出:
(1, id, prod)
(1, whitespace,
)
(2, whitespace,
)
(3, whitespace,
)
(4, symbol, })
在检查每个阶段的变量值和文件指针后,我得出的结论是程序确实在识别字符';' 作为换行符,我放置的任何其他符号也是如此。更令人困惑的是,如果我把拳头写成 'prod ;' 或“产品;;” 的'产品; ' 它给出了正确的输出。这是怎么回事?
解决方案
您似乎在未提及的约束下工作(即评论中的“问题是我不允许使用任何导入的库”)。
你的寻求并不像你那样工作。不要使用tell
,而是自己跟踪位置:
pos = 0
# handle your own positioning
def get_char_and_pos(f):
"""Reads one character from file, returns character and position"""
global pos
pos += 1
return f.read(1), pos-1
input_file.read(1)
并通过调用您的位置跟踪函数替换所有实例:
# sets are faster for 'in' checks
LETTER = set("abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ")
WHITESPACE = set(" \n\r\v\t\f")
SYMBOL = set(";:,[]{}()+-*=<")
# write demo file
with open("input.txt", "w") as f:
f.write("prod;\n\n}")
input_file = open('input.txt', 'r+')
line_num = 1
def get_token():
global line_num
value = ''
input_char = ''
value, value_pos = get_char_and_pos(input_file) # use function
if value in WHITESPACE:
start = line_num
if value == '\n':
line_num += 1
return "whitespace", value, start
elif value in LETTER:
input_char, value_pos = get_char_and_pos(input_file) # use function
while input_char != '':
if input_char in LETTER:
value += input_char
elif input_char in SYMBOL or input_char in WHITESPACE:
input_file.seek(value_pos) # jump to correct position
return 'id', value, line_num
else:
value += input_char
return 'invalid', value, line_num
input_char, value_pos = get_char_and_pos(input_file) # use function
return 'id', value, line_num
elif value in SYMBOL:
return 'symbol', value, line_num
elif value == '':
return None
else:
return 'invalid', value, line_num
while True:
token = get_token()
if token:
print(f"({token[2]}, {token[0]}, {token[1]})")
else:
break
input_file.close()
输出:
(1, id, prod)
(1, symbol, ;)
(1, whitespace,
)
(2, whitespace,
)
(3, symbol, })
推荐阅读
- c# - 如何将 Blazor 组件的输入传递到 Core MVC 控制器?
- java - log4j - RollingFileAppender - 日期模式和 MaxFileSize
- scala - 克服一些 Scala 类型系统的限制
- c# - DateTime 对象发生 FatalExecutionEngineError
- reactjs - react-google-login 是否需要额外授权?
- python - 使用 2 个返回的列表作为另一种方法的输入
- math - 以下 big-o 符号是否彼此等价?
- mongodb - 命令失败:MongoError:CMD_NOT_ALLOWED:配置文件
- php - Laravel:通过 AJAX 请求登录用户对象时出现问题
- python - discord.py 中的命令重写