Как сделать, чтобы при выполнении кода в CSV файле выводилась кириллица, а не иероглифы?

Question

[alexkomp]

Написал парсинг для РИА новости на Python.
Парсер работает, но когда я открываю файл, вся кириллица отображается иероглифами.
Вот код открытия CSV на запись.
Как сделать, чтобы после записи в CSV отображалась кириллица, а не иероглифы?

def file_w(news):
	with open('parser_news.csv', 'w', encoding='utf-8') as file:
		a_pen = csv.writer(file)
		a_pen.writerow(('Название', 'Ссылка на статью', 'Дата', 'Ссылка на картинку', 'Контент'))
		for new in news:
			a_pen.writerow((new['title'], new['href'], new['date'], new['img'], new['content']))

news = RIA_NEWS(base_url, headers)
file_w(news)

Comments

[SagePtr]

Внутренняя кодировка файла parser_news.csv точно utf-8?
Кодировка файла вашего скрипта тоже utf-8?

[alexkomp]

SagePtr, кодировка скрипта - да, файла - нет, но её приходится всегда настраивать через "Получение данных через текст", а как сделать, чтобы она всегда была utf-8?

[profesor08]

когда же наступят славные времена, когда не надо будет парить мзг кодировкамии и перекодированием из одной в другую...

[Владимир Коротенко]

profesor08, Видимо никогда. Просто научитесь работать не с текстом а с потоком байтов, тогда будет проще.

[profesor08]

Владимир Коротенко, и что от этого изменится?

[Владимир Коротенко]

Как минимум понимание что это не текст а поток битов и работать нужно с ним соответствующими инструментами.

Answer 1

[Руслан]

Надо внутри python преобразовать к utf-8.
Как я понимаю это касается new['title'] и new['content'].
Надо в вашем цикле добавить к ним decode.
То есть:

for new in news:
      a_pen.writerow((new['title'].decode("utf-8"), new['href'], new['date'], new['img'], new['content'].decode('utf-8')))

UPDATE
совместными усилиями пришли к выводу, что я некорректно понял вопрос изначально.
Ошибка не в самом python, а в открытии файла csv в excel.
Для открытия csv нужно в excel его импортировать и в мастере указать кодировку utf-8.
Но это необходимо проделывать при каждом импорте csv.
Поэтому для получения данных для excel с нормальной кодировкой лучше писать данные не в csv, а файл полноценный xlsx при помощи модуля openxl. Он позволяет создать полноценную книгу excel и записать данные прямо туда. Сохранив файл данным модулем, кодировка в excel должна открываться сразу нормально.

Comments

[alexkomp]

сейчас попробую

[alexkomp]

a_pen.writerow((new['title'].decode("utf-8"), new['href'], new['date'], new['img'], new['content'].decode("utf-8")))
AttributeError: 'str' object has no attribute 'decode'

[Руслан]

alexkomp, а, раз это уже строки, лучше конечно добавить .decode("utf-8") внутри класса RIA_NEWS, там где происходит преобразование байтовых данных из интернета в строку.
Но так как вы не привели код того класса, можно попробовать обернуть new['title'] и new['content'] в следующую конструкцию:
bytearray(new['title'], "utf-8").decode("utf-8")
ну и с new['content'] тоже самое

[alexkomp]

Руслан, всё равно выводит иероглифы в csv

[Руслан]

alexkomp, А вы можете привести кусок из класса RIA_NEWS там, где парсите полученные данные из интернета?

[alexkomp]

Руслан, если я открою csv файл в редакторе, то всё нормально

[Руслан]

alexkomp, а где вы тогда получаете иероглифы? вы писали:

Парсер работает, но когда я открываю файл, вся кириллица отображается иероглифами.

[alexkomp]

Руслан, в csv файле

[Руслан]

alexkomp, понятно что в csv. Где вы его открываете и получаете иероглифы, если в редакторе норм все?
Если вы имеете ввиду, что открываете файл в python на чтение, то в таком случае его надо открывать также с нужной кодировкой как и при записи, то есть:
with open('parser_news.csv', 'r', encoding='utf-8') as file:

[alexkomp]

Руслан, после того как я спарсил данные, я открываю этот файл в excel и там появляются иероглифы, а если я открою этот файл в редакторе, то там будет кириллица.

[alexkomp]

Руслан, вот весь кодю.

import requests
import csv
from bs4 import BeautifulSoup as bs

headers = {
	'accept': '*/*',
	'user-agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Mobile Safari/537.36'

}

base_url = 'https://ria.ru/search/?query='

def RIA_NEWS (base_url, headers):
	news = []
	section_news = ['Спорт', 'Политика', 'Наука', 'Экономика', 'Культура'] 
	urls = []
	for url in section_news:
		url = f'https://ria.ru/search/?query={url}'
		urls.append(url)
	session = requests.Session()
	request = session.get(base_url, headers=headers)
	if request.status_code == 200:
		for i in range(len(urls)):
			print('\n', section_news[i], '\n')
			session = requests.Session()
			request = session.get(urls[i], headers=headers)
			soup = bs(request.content, 'lxml')
			divs = soup.find_all('div', attrs={'class': 'list-item'})
			for div in divs:
				try:
					title = div.find('a', attrs={'class': 'list-item__title color-font-hover-only'}).text
					href = div.find('a', attrs={'class': 'list-item__title color-font-hover-only'})['href']
					date = div.find('div', attrs={'class': 'list-item__date'}).text
					img = div.find('img', attrs={'class': 'responsive_img m-list-img'})['src']

					session = requests.Session()
					request = session.get(href, headers=headers)
					soup = bs(request.content, 'lxml')
					content_divs = soup.find_all('div', attrs={'class': 'layout-article__main'})
					for content_div in content_divs:
						content_div = content_div.find_all('div', attrs={'class': 'article__text'})
						content = ''				
						for div_i in range(len(content_div)):
							content += str(content_div[div_i])
				except:
					continue
				news.append({
					'title': title,
					'href': href,
					'date': date,
					'img': img,
					'content': content
					})
				print(title)
	else:
		print('ERROR')
	return news

def file_w(news):
	with open('parser_news.csv', 'w', encoding='utf-8') as file:
		a_pen = csv.writer(file)
		a_pen.writerow(('Название', 'Ссылка на статью', 'Дата', 'Ссылка на картинку', 'Контент'))
		for new in news:
			a_pen.writerow((new['title'], new['href'], new['date'], new['img'], new['content']))

news = RIA_NEWS(base_url, headers)
file_w(news)

[Руслан]

alexkomp, вот смотрите, у вас есть такая строка:
content += str(content_div[div_i])
тут идет явное преобразование данных в строку без задания кодировки.
Попробуйте изменить код например на такой:
content += content_div[div_i].decode("utf-8")

[Руслан]

alexkomp, о, подождите. Вы пишите:

после того как я спарсил данные, я открываю этот файл в excel и там появляются иероглифы, а если я открою этот файл в редакторе, то там будет кириллица.

Так у вас скорее всего проблема не в python, а в excel!
При импортировании csv файла надо указать кодировку.
Вот тут почитайте где это делается:
https://artkiev.com/blog/excel-import-csv-utf-8.htm

[alexkomp]

Руслан, Спасибо получилось!
Но только если мы снова парсим, то получаются опять иероглифы.
Как сделать, чтобы всегда была кодировка utf-8?

[Руслан]

alexkomp, получился вариант с выбором кодировки для импорта csv? если так, то я не специалист по excel, но вроде нет настройки чтобы указать кодировку по умолчанию для csv. Хотя может я просто не знаю, и может вы найдете это.
Если же вам принципиально нужны эти данные именно в excel, то я бы вам предложил не писать данные в CSV файл, а создать в python полноценный xlsx файл при помощи модуля openxl. Он позволяет создать полноценную книгу excel и записать данные прямо туда. Сохранив файл данным модулем, кодировка в excel должна открываться сразу нормально.
Но работа с этой библиотекой - это уже другой вопрос, если захотите, пишите мне на почту, попробую помочь и ответить на вопросы по ней, что непонятно будет.

[alexkomp]

Руслан, Всё понял. Спасибо!

[alexkomp]

Руслан, можешь в ответ это написать, а я отмечу верным решением.

[Руслан]

alexkomp, да, обновил ответ найденными нами результатами :)

[alexkomp]

Руслан, ещё раз спасибо!