Сергей Ильин

Гуглим "beautifulsoup a href".
Получаем: https://stackoverflow.com/questions/5815747/beauti...

решение:

for a in soup.find_all('a', href=True):
    print("Found the URL:", a['href'])

а вы говорите, что "не нашёл аналога startswith"... просто не то искали...

Вы решаете задачу, которую решает Гугл, в целом.
в общем, путь, по которому можно пойти:

1/ прикрутить к вашей поисковой строке расстояние Левенштейна и искать совпадения. Уже будет работать. Плоховато, но лучше, чем ничего.
2/ Посчитать tf-idf на ваших документах и смотреть, что ввел пользователь. Будет работать значительно лучше
3/ построить w2v: каждому слову будет дан эмбеддинг (векторное представление), косинусные расстояния между векторами будут обозначать похожесть слов (синонимическую)
4/ Прикрутить Берт-подобные модели. Если сайт не какой-то специфический, можно даже не доучивать на вашем корпусе.
4 итерация - это, по сути, "предгенеративный" шаг. Потом начинаются большие языковые модели (типа огромного Ялма) и всякие вопросно-ответные системы типа чатЖПТ.

Присоединюсь к ответам умных ребят.
Если вы под DS подразумеваете «повертеть таблички в пандасе и разобраться в «классической машинке» (sklearn, бустинги и т.д.), то вам ничего не помешает это сделать на обычном ноуте. Любом. Тем более, датасеты обычно в начале тестовые и не тяжелые. Выбирать ли мак или нет - вообще дело исключительно вашего удобства.

Если вы хотите в «современный DS», в котором много занимает обработка изображений (какие-нибудь медицинские соревнования на Кэггл), то начинаются «вычислительные потолки» и вот тут вам действительно уже нужно идти либо в карточки, либо в облачные истории с AWS или что-то такое. Но тестовые штуки можно пробовать считать и на компе, и в Гугл-коллабе.

Все от задач.

Если вы точно знаете, что телефон записан так и других форматов нет, то можно попробовать доставать его регуляркой. Или записать все возможные форматы в список и по нему циклом проходиться, доставая элемент и проверяя его (напр.: ['+79251231233', '9251231233', '+7-925-123-12-33']. Тут проблема в том, что под каждый такой вариант нужно будет написать регулярку).
По тексту "телефон" искать - хорошая идея, но проверьте, всегда ли он есть, этот текст.

Поддержу автора выше. Нарисуйте линию, посчитайте сумму квадратов расстояний от ваших точек до этой линии (или средний квадрат - как вам будет угодно), поищите другие линии. Таким перебором вы рано или поздно нарисуете такую, при которой ваша ошибка будет минимальной. Такая линия будет "усреднением", аппроксимацией ваших наблюдений. Если вы в ваши точки добавите еще и класс этих точек (напр., бинарное разделение, 1 и 2). то тут вы должны не только исхитриться провести линию "усредненно", но еще и так, чтобы точки одного класса оказались с одной стороны, а точки другого - с другой. Иногда для этого добавляют еще одну размерность, в которой эти точки хорошо разделимы. Это вкратце о разделяющей поверхности и методе svm. Естественно, руками такого никто не делает, ваш sklearn давно и хорошо это умеет "из коробки".

странно, что в фасттекст не задалось. У вас, по сути, как я понял из вашего вопроса, задача разложить описание товара на несколько категорий. Ну так и давайте по шагам:
1/ берем текст, берем обученную модель, находим, что товар - утюг. Ок, прекрасно. (Кстати, на верхнем уровне даже модель не нужна - регулярок, наверное, достаточно, но это вам решать)
2/ Снова применяем фасттекст к тому же описанию, но ищем что-то про пар (вообще, тут можно искать в один проход, по сути, но надо правильно считать метрику - вам же вначале надо сегментировать утюги).
3/ записываем айдишник этого утюга в паровые утюги, ок.

По сути, вы из текста должны вытащить несколько сущностей. Попробуйте DeepPavlov - может взлететь.

0/ импортируете пандас, естественно, он должен быть установлен изначально
import pandas as pd
1/ читаете файл экселя в джупитер
df = pd.read_csv('путь до файла)
или
df = read_excel('путь до файла)

вуаля. файлик у вас в памяти.

теперь прикручиваете к нему среднюю по каждому айдишнику ученика, например.
Или регрессию строите.
Или марковскую цепь (что даже лучше)

Играетесь с данными

На экзамене получаете, что Иванова должна была получить 5, а получила 3, потому что не выспалась.
Расстраиваетесь.

Берете новый датасет...

И так - по кругу

так. первый этап решения проблемы оказался в том, что надо пофиксить html, а именно href:
<a href = "login_page.html">
меняем на
<a href = "/login">

вопрос описан тут:
https://stackoverflow.com/questions/57874745/how-t...

если вас интересует именно face recognition (и как можно быстрее из коробки), то смотрите в сторону Open CV.

Про расстояние Левенштейна (как базовую метрику, с которой стоит начинать) вам уже написали. Проблема начинается, как по мне, в момент, когда приходит понимание, что "слова могут быть переставлены". И тут вам придется вспомнить комбинаторику и все эти факториалы. Потому как даже для трех слов количество перестановок будет равно 3! = 6. А вы, опять же скорее всего, будете брать и сплитить вашу строку по пробелам и сравнивать каждое слово с каждым. Чувствуете возрастающую сложность?

Не соглашусь с автором выше (точнее, в некоторых деталях мог бы поспорить). Только что делал проект, требующий распознавать голос в телеге. Обязательно посмотрите в сторону Vosk / Vosk_small. Он лучше speech kit-а. Распознавание почти как у Олега. Даже в предобученном виде, без вашего дообучения. При этом, это Open Source. Это - SOTA в настоящий момент среди бесплатных решений по voice recognition.

Я бы начал именно с понимания того, какие паттерны артикулов вообще существуют (может, их можно сегментировать по типам товаров, напр, чайники, электроплиты, макбуки).