Почему парсит только первые ники?

Question

[kpkkk423]

Почему у меня парсит только первый ник на все 100 страниц хоть должен был парсить по 15 на каждой странице

import requests
from bs4 import BeautifulSoup
from lxml import html

ses = requests.Session()
data = {"name": "vaseaxxx", "password": "vaseaxxx"}

auth = ses.post("http://mrush.mobi/login", data=data)

#print(auth.text)

for i in range(1,100):
  mrush = open('ParsNick.txt','a')
  html_text = ses.get(f"http://mrush.mobi/best?pvp=0&page={i}").text
  #print(html_text)
  soup = BeautifulSoup(html_text, 'html.parser')
  names = soup.find_all('table', {"class": "cntr wa mlra"})
  for name in names:
    nick = name.a.text
    print(nick)
    mrush.write(nick+'\n')
  mrush.close()

Answer 1

[Сергей Карбивничий]

1) Вы ищете таблицы с классом 'cntr wa mlra', а нужно таблицу.
2) Уже в найденной таблице искать (как вариант) все теги 'a' с классом 'lwhite'

table = soup.find('table', {"class": "cntr wa mlra"})
names = table.find_all('a',class_='lwhite')
for name in names:
	nick = name.text
	print(nick)

3) Вы их уже задолбали, они поставили хитрую защиту от таких скриптов. Нужно делать задержки при отправке запросов.

Насчет защиты - там теперь при авторизации нужно передавать еще один параметр(с пустым значением) с рамдомным именем. Но просто перед авторизацией сделать get запрос и вытащить данный параметр просто так не получится, там немного хитрее всё это сделано.

Рабочий код(куки скопировал из браузера):

import requests
from bs4 import BeautifulSoup
from lxml import html
import time

cookies = {'PHPSESSID':'c3a1cde86c8c8c9f0e3877403ad4935e.1585230344.54638591'}

headers = {'user-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:72.0) Gecko/20100101 Firefox/72.0'}

for i in range(1,6):
  mrush = open('ParsNick.txt','a')
  html_text = requests.get(f"http://mrush.mobi/best?pvp=0&page={i}",cookies=cookies,headers=headers).text

  soup = BeautifulSoup(html_text, 'html.parser')
  table = soup.find('table', {"class": "cntr wa mlra"})
  names = table.find_all('a',class_='lwhite')
  for name in names:
    nick = name.text
    print(nick)
    mrush.write(nick+'\n')
  mrush.close()
  time.sleep(1)

Comments

[kpkkk423]

На счёт ещё одного параметра я так понял вы про такой c3990103075= получилось найти его ток почему-то не очень помогает блокируется ip(

[Сергей Карбивничий]

kpkkk423, Там местоположение каждый раз меняется. Поищите в html коде "я не робот", там несколько штук, и везде параметры разные. Нужно узнать какой по счёту используется для текущей авторизации.

[kpkkk423]

Сергей Карбивничий, да нашли уже обход как думаете блок ип и за того что быстро идёт много потом ?

[Сергей Карбивничий]

kpkkk423, Не знаю. А как вы поняли что блок по ip. Там так написано?

[kpkkk423]

На счёт рабочий код ошибка даёт

names = table.find_all('a', class_='lwhite')
AttributeError: 'NoneType' object has no attribute 'find_all'

Answer 2

[Dimonchik]

потому что надо пагинировать

Comments

[kpkkk423]

и как это сделать ?

[Dimonchik]

параметры передавать