Как сортировать разные телефонные номера?

Question

[Илья Родионов]

Здравствуйте!
Возник вопрос: есть файл с >10000 строк.
.txt
В файле данные в виде:

Имя Фамилия : 899999999

- телефонный номер
то есть файл состоит из имени, фамилии и телефонного номера.
но дело в том, что не всегда этот номер выглядит в формате 8999...
иногда он записан как +7...
иногда - 7....
иногда 99999999 (то есть без 8/7/+7)
порой телефонный номер записан даже так(!) 8-девять-123-ноль-123
а иногда вместо телефона записано "Иванов Иван : нет телефона (есть телефон)" или любой другой текст.

так возникает вопрос: как научить питон(?) выбирать, что из этого телефон, а что - нет.

понимаю, как это можно было бы реализовать, имея всего 1 формат номера - 8999... или 7999..
но когда а) - они разные б) - не всегда чисто в цифровом виде (9-ноль-12) с) не всегда вообще телефоны - тут я запутываюсь.
была мысль обучить питон с помощью нейросетей(?), но в этом я совсем не понимаю.
а библиотек, которые работают с телефонными номерами, как я понял, тоже нет..

Заранее спасибо за ответ!

Comments

[Сергей Горностаев]

Считываешь построчно, разбиваешь строку по символу ':' на два элемента, из второго удаляешь все нецифровые символы, проверяешь длину полученной строки и отбрасываешь первую цифру, если символов 11.

[Илья Родионов]

Сергей Горностаев, а если это "89-ноль-12323454" - ведь это тоже номер телефона.
а если я отброшу "ноль", то не смогу сохранить номер.
да и человек же может написать "12345678911" - это 11 символов, но не телефонный номер

[Илья Родионов]

Сергей Горностаев, если бы изначально знал, что файл содержит или только телефонные номера, или только не-телефонные-номера, то эту бы проверку (на "12345678911" не надо было бы делать) а так..

[Animkim]

Илья Родионов, тогда дайте определение телефонного номера, чем 12345678911 не номер? Если номера мобильные и только ру то первые три цифры от 900 до 999.
Ещё под рукой можно держать все коды городов РФ, опять же если номера РФ, коды стран тоже в свободном доступе.
Если задача одноразовая, то самый простой вариант отобрать по нескольким правилам все 100% номера, остальное загнать в файл Эксель и пусть кто-то руками разберёт редкие кейсы.

[Сергей Горностаев]

Илья Родионов, в вопросе стояла задача отсортировать записи по телефонам, что не предполагает проверки телефона на валидность. Что алгоритм должен делать в случае обнаружения последовательности цифр не являющихся телефоном? А номер телефона записанные без кода города валидными являться могут? А номер другого государства? А номер записанный как "восемдевятьсотдваодинвосеьсотодинтристадвадцатьтри"? Если нет чётко определённых границ форматов, то самый дешёвый и быстрый вариант - нанять студентку, которая всё перебьёт в заданный формат руками.

[sim3x]

Для обучения нужна выборка по-больше
Выбросы в текущей проще нормализовать руками

[Илья Родионов]

Animkim, Сергей Горностаев, тогда буду перебирать все номера, а если они "не из рф" - писать в другой файл
так же, как и номера 9-ноль-1, а потом руками перебирать

Answer 1

[Егор Стаховский]

Не могу подсказать никакой библиотеки для работы с числительными на русском (да и на любом другом языке), но вы не думали сделать парсер попроще?
Что-нибудь вроде:

import re


REPLACEMENT = {
	'ноль': '0',
	'один': '1',
	'два': '2',
	'три': '3',
	'четыре': '4',
	'пять': '5',
	'шесть': '6',
	'семь': '7',
	'восемь': '8',
	'девять': '9'
}


PHONE_REGEX = re.compile('(\+)?\d{10,11}')


def parse_phones(file_path):
	parsed = []
	unparsed = []
	with open(file_path, 'r') as file:
		for line in file:
			name, phone, *_ = line.split(':')
			name = name.strip()
			phone = phone.strip()
			for key, value in REPLACEMENT.items():
				phone = phone.replace(key, value)
			if PHONE_REGEX.match(phone):
				phone_len = len(phone)
				if phone_len == 10:
					phone = '+7' + phone
				elif phone_len == 11:
					phone = '+7' + phone[1:]
				parsed.append((name, phone))
			else:
				unparsed.append(line)
	return parsed, unparsed

Вместо засовывания в списки можно сразу писать в файлы. Как минимум, это уменьшит количество "неизвестных" номеров.

Comments

[Илья Родионов]

хорошая мысль. спасибо большое!

Answer 2

[Dimonchik]

num = ''.join([x for x in num if x.isdigit()])

Answer 3

[ivodopyanov]

1. Отфильтровать все, что точно не телефон (тексты "нет телефона" и т.д.)
2. Превратить цифры, записанные словами, в числа.
3. Оставить в тексте только цифры и "+".

Если в датасете гарантированно, что с цифрами могут быть только телефоны (нет ip-адресов, почтовых индексов, паспортных данных и прочего) - то должно работать.