Из-за чего может быть ошибка «'str' object is not callable»?

Question

[Аля]

from tokenize import tokenize

input_file = 'ALL.txt'
output_file = 'ALL1.txt'
MULTI_WORD = -1
word_locations = {}

for pos, word in tokenize(input_file):
    if word not in word_locations:
        word_locations[word] = pos
    else:
        word_locations[word] = MULTI_WORD
        
edit_points = [(pos, len(word)) for word, pos in word_locations.iteritems()
                                if pos != MULTI_WORD]

start_pos = 0
for end_pos, edit_length in edit_points:
    input_file.seek(start_pos)
    output_file.write(input_file.read(end_pos - start_pos))
    start_pos = end_pos + edit_length
input_file.seek(start_pos)
output_file.write(input_file.read())

В строке for pos, word in tokenize(input_file): появляется ошибка 'str' object is not callable

Answer 1

[planc]

input_file должен быть файлом, а не строкой

tokenize.open(filename)

https://docs.python.org/3/library/tokenize.html

Comments

[Аля]

[planc]

Аля,
нужно tokenize.open, а не tokenize.tokenize.open

[Аля]

planc, наверное я тупая, ноя не вижу где у меня

tokenize.tokenize.open

, вижу только

tokenize.open

[planc]

Аля,

from tokenize import tokenize, open as tokenize_open

[Дмитрий Шицков]

Аля, вы из пакета tokenize импортируете функцию tokenize - и только её

from tokenize import tokenize

Сделайте
import tokenize
Поэтому и получаете ошибку, что tokenize - это функция и она не имеет метода open

[Дмитрий Шицков]

Аля, корректнее использовать конструкцию with:

with tokenize.open(input_file) as file:
    for pos, word in file:

Это гарантирует то, что файл будет закрыт после блока with, а так же в любом случае, напр. если выполнение в данном блоке будет прервано исключением

[Аля]

Дмитрий Шицков, planc,

[planc]

Аля,
"в 9ой строке вернулось слишком много параметров, когда ты ожидала 2"
наверное:
for pos, word, _, _, _ in file:

The generator produces 5-tuples with these members: the token type; the token string; a 2-tuple (srow, scol) of ints specifying the row and column where the token begins in the source; a 2-tuple (erow, ecol) of ints specifying the row and column where the token ends in the source; and the line on which the token was found.

посмотри на ютубе ролики про pdb, что-бы понимать как дебагать свой код