Как из цикла for получить последовательный ответ в одну строку?

Question

[pyaniy_tracktorist]

Всех приветствую. Питон изучаю не так давно, судите строго, ругайте. Суть вопроса и проблемы: пытаюсь интегрировать нейронку llama-cpp-python. И возникла потребность ускорить процесс получение ответа от неё, путём потоковой передачи этого ответа (stream = True далее вступает итерация циклом for) в отдельную переменную для дальнейшей передачи её в другую функцию. Проблема в том, что для дальнейшей функции, данные ответа должны быть как при использовании print("Hello World" end = ""). Надеюсь никого не запутал и вы поняли суть моего толкования.

from llama_cpp import Llama
from golosTTS import pspeak
import time
print("Загрузка...")
llm = Llama( 
    model_path="W:\pygmalion-2-7b.Q2_K.gguf", 
    n_threads=8, 
    n_batch=512, 
    n_gpu_layers=43, 
    n_ctx=4096, 
    )

print("Загрузка завершена.")

while True:
  print("Введите запрос: ")
  prompt = input()
  input_prompt = f'''SYSTEM: Вы полезный, уважительный и честный помощник. Всегда отвечайте на русском языке.

  USER: {prompt}

  ASSISTANT:
  '''

  output = llm(
      input_prompt,
      max_tokens=500,
      temperature=0.8,
      top_p=0.95,
      repeat_penalty=1.2,
      stream=True,
      top_k=50,
      stop = ['USER:'], 
      echo=False) 
  llavw = list()
  for stream in output:
    llav = stream["choices"][0]["text"]
    llavw.append(str(llav))                              #ВОТ ТУТ И ЗАГВОСТКА
    spisok = "".join(llavw)
    otvet = llav.replace(spisok, "")
    print(spisok)

Answer 1

[Vindicar]

Советую поучить стандартную библиотеку языка, а потом уже браться за такие вещи.
У тебя в коде уже есть пример, как список строк превратить в одну строку, соединив их разделителем.
spisok = "".join(llavw)
В чём проблема адаптировать этот же метод к твоей задаче? Сформируй список из отдельных строк, потом объедини их. Единственно, стоит убедиться, что ты подаёшь на вход именно список строк, а не каких-то других объектов.

Comments

[pyaniy_tracktorist]

Это не пример, а уже мои попытки решить проблему. Проблема в нём в том что при каждой итерации я получаю обновлённые данный с новой строки.
То есть на выходе переменной списка(print(spisok)):

Python
Python - это
Python - это высокоуровневый
Python - это высокоуровневый язык программирования

Мне необходимо реализовать форматирование данных в одну строку, с последующим обновлением . То есть аналог вывода print(spisok, end=""). Только для передачи уже в другую функцию. Данные print(spisok, end="") я ведь не могу никак использовать, кроме как отображение этого результата. А в данной реализации я получаю повтор этого ответа но с добавлением последующих слов. Я пробовал фильтровать ответ, и удалять в новой итерации то что есть и добавлять того чего нет. Но получалась ерунда, ответ фильтровался но выводил каждое новое слово в новую строку

[Vindicar]

pyaniy_tracktorist, вынести вывод результата за пределы цикла for не пробовал?

[0xC0000005]

pyaniy_tracktorist, end='\r'

[pyaniy_tracktorist]

Vindicar, Да проблема в то что, результат выводится после того как цикл завершится

[pyaniy_tracktorist]

0xC0000005, end = '\r', используется в функции print. Я не могу передать её результат

[Vindicar]

pyaniy_tracktorist, ты можешь внятно объяснить, чем твой текущий результат отличает от желаемого? Потому что ты сам себе противоречишь.
Упрощённо:

def get_items(n: int):
    items = []
    for i in range(20):
        item = 'Item'+str(i)  # получаем очередной элемент. Это - просто для примера.
        items.append(item)  # докидываем элемент в список
    return ' '.join(items)  # соединяем элементы списка в одну строку через пробел и возвращаем эту строку

Тогда вызов get_items(5) даст строку 'Item0 Item1 Item2 Item3 Item4'.

[pyaniy_tracktorist]

Vindicar, посмотри мой первый комментарий на твой ответ. Видишь какой результат выходит при простом соединения списка?? А теперь просто попробуй принтануть это с (end = '') вывод будет в одну строку и последовательный. Это мне нужно. Вывод итерации во время её исполнения. Если не знаешь, то спасибо за "любезную" помощь. Буду сам думать.

[Vindicar]

pyaniy_tracktorist, понятненько с тобой всё.
Предложение поучить язык остаётся актуальным: после того, как функция вернула значение через return, она не может продолжать выполнение. Управление уже передано вызывающей функции, и можно только вызвать функцию снова.
И даже если найти способ изменить уже возвращённое значение, ты уверен, что у тебя вызывающая функция будет готова к таким фокусам?

Ты можешь либо возвращать элементы строки как коллекцию (скажем, список), либо сделать генератор (используя оператор yield). Но в обоих случаях вызывающая функция должна быть в курсе, что возвращает твоя функция, и самостоятельно обрабатывать элементы возвращённого значения по одному.