мультипоточность и только она одна спасет
разбиваем входящий файл на чунки по 2000 записей, к примеру
в каждом блоке прибиваем не нужные строки
записываем каждый чунк в новый файл
проблемы будут с записью в файл. поэтому надо использовать этот рецепт
дорогу осилит идущий :)
огромное, большое, часто - это все эммоции. нужны осязаемые метрики для того чтобы понять что Вам нужно.
после получения метрик, выстраивается понимание а как все это хранить и отдавать
так что на этот вопрос и такой постановке врядли кто-то ответит
это можно описать приблизительно так
представьте что Вы стоите в очереди за зарплатой и вот Ваша очередь подошла, вы заглядываете в окошко и тут кассир:
(print) - вот ваша зарплата
показала ее Вам и спрятала обратно в стол
(return) - получите Вашу зарплату
выдала Вам деньги в окошко
в вашей воле выбрать какой вам вариант больше нравится :)
Сергей Горностаев правильно написал. разберись с каждым и выбери то что тебе надо. но это долгий путь
короткий - копай в сторону asyncio и aiohttp
и да прибудет с тобой сила :)
response = requests.get(url, stream=True)
handle = open(target_path, "wb")
for chunk in response.iter_content(chunk_size=512):
if chunk: # filter out keep-alive new chunks
handle.write(chunk)
пишу по своему опыту фрилансера на Python
на самом деле работы на фрилансе много, и конкуренция высокая. просто делать надо максимально качественно и заказчики будут вас держать при себе. через 2 года работы забудете что такое искать новые заказы. по поводу оплаты, стартовать надо с 10$ в час и по мере выполнения заказов и формирования профиля поднимать потихоньку до 20-30 в час. вполне реальный прайс и заказчики за хорошо сделанную работу с удовольствием платят такую стоимость.
да, английский должен быть на высоте. и не тратьте время на локальный фриланс, только зарубежный. Upwork отличная платформа для начала.
взять первый заказ всегда сложно и это не зависит от уровня знания языка заказчика и языка программирования :)
