Python requests выводит пустой список

[Глеб]

import requests
import fake_useragent 
from bs4 import BeautifulSoup

session = requests.Session()

url = ' https://es.ciur.ru/auth/login '
user = fake_useragent.UserAgent().random

header = {
'user-agent':'user'
}
data = {
'login_login': 'ТУТ ЛОГИН',
'login_password': 'ТУТ ПАРОЛЬ'
}

response = session.post (url, data=data, headers=header)

homework_url = " https://es.ciur.ru/personal-area/#homework "
responce = session.get(homework_url)
soup = BeautifulSoup(responce, 'lxml')

homework_block = soup.find_all('div', "ind").text



print(homework_block)

 

[Vershitel_sudeb]

soup = BeautifulSoup(responce.text, 'lxml')

 

[4olshoy_blen]

import requests
import fake_useragent
from bs4 import BeautifulSoup

session = requests.Session()

url = 'https://es.ciur.ru/auth/login'
user = fake_useragent.UserAgent().random
header = {
    'user-agent': user
}
data = {
    'login_login': 'ТУТ ЛОГИН',
    'login_password': 'ТУТ ПАРОЛЬ'
}

response = session.post(url, json=data, headers=header)

homework_url = 'https://es.ciur.ru/personal-area/#homework'
responce = session.get(homework_url)

soup = BeautifulSoup(responce.text, 'lxml')
homework_block = soup.find_all('div', 'ind')

print(*homework_block, sep='\n\n')

 

[Vershitel_sudeb]

Попробуй сохранить загруженный html в файл, возможно он вообще не загружает эту часть

import requests
import fake_useragent
from bs4 import BeautifulSoup

session = requests.Session()

url = '[URL]https://es.ciur.ru/auth/login[/URL]'
user = fake_useragent.UserAgent().random
header = {
    'user-agent': user
}
data = {
    'login_login': 'ТУТ ЛОГИН',
    'login_password': 'ТУТ ПАРОЛЬ'
}

response = session.post(url, json=data, headers=header)

homework_url = '[URL]https://es.ciur.ru/personal-area/#homework[/URL]'
responce = session.get(homework_url)

with open('page.html', 'wb') as f:
    f.write(response.content)

Открой файл, и посмотри есть ли искомая строка

 

[Глеб]

Попробуй сохранить загруженный html в файл, возможно он вообще не загружает эту часть

import requests
import fake_useragent
from bs4 import BeautifulSoup

session = requests.Session()

url = '[URL]https://es.ciur.ru/auth/login[/URL]'
user = fake_useragent.UserAgent().random
header = {
    'user-agent': user
}
data = {
    'login_login': 'ТУТ ЛОГИН',
    'login_password': 'ТУТ ПАРОЛЬ'
}

response = session.post(url, json=data, headers=header)

homework_url = '[URL]https://es.ciur.ru/personal-area/#homework[/URL]'
responce = session.get(homework_url)

with open('page.html', 'wb') as f:
    f.write(response.content)

Открой файл, и посмотри есть ли искомая строка

я уже понял что сайт динамический, вроде сделал все правильно но он не хочет регистрироваться

выводит

{'faultcode': 'Server', 'faultstring': 'Вы не авторизованы!', 'detail': ''}​

import requests
import fake_useragent
from bs4 import BeautifulSoup

session = requests.Session()

url = 'https://es.ciur.ru/auth/login'
user = fake_useragent.UserAgent().random

header = {
     'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
    }
data = {
    'login_login': 'ТУТ_ЛОГИН',
    'login_password': 'ТУТ_ПАРОЛЬ'
    }

response = session.post(url, data=data, headers=header)

homework_url = "https://es.ciur.ru/api/HomeworkService/GetHomeworkFromRange"
responce = session.get(homework_url).json()






print(responce)

 

[4olshoy_blen]

'Вы не авторизованы!'

data=data

почему тут параметр дата вместо джсон?

 

[Глеб]

почему тут параметр дата вместо джсон?

Все равно не работает,но он стал предлагать обновить страницу для повторной авторизации

 

[Глеб]

почему тут параметр дата вместо джсон?ю

 

[Vershitel_sudeb]

Посмотри что возвращает запрос авторизации, после
response = session.post(url, json=data, headers=header)
сделай print(response.text)

 

[Глеб]

Посмотри что возвращает запрос авторизации, после
response = session.post(url, json=data, headers=header)
сделай print(response.text)

{"success": false, "redirect": "", "message": "\u041d\u0435\u0432\u0435\u0440\u043d\u044b\u0439 \u043b\u043e\u0433\u0438\u043d \u0438\u043b\u0438 \u043f\u0430\u0440\u043e\u043b\u044c."}

короче 'не верный логин или пароль'

хотя когда захожу с ними на сайт данные для регистрации верные

 

[Vershitel_sudeb]

Возможно он отправляет какие-то еще данные в форме?

 

[Глеб]

Возможно он отправляет какие-то еще данные в форме?

Возможно, а как можно узнать какие ещё данные он отправляет?

 

[Vershitel_sudeb]

Возможно, а как можно узнать какие ещё данные он отправляет?

Зайди на страницу входа, открой инструменты разработчика (ctrl+shift+i), раздел сеть, введи данные для входа (лучше не правильные) и нажми войти. В инструментах разработчика появится новая строка, с отправленными данными, ткни на нее и посмотри что было отправлено

Если что-то не понятно - спрашивай, кидай скрины

 

[Глеб]

Зайди на страницу входа, открой инструменты разработчика (ctrl+shift+i), раздел сеть, введи данные для входа (лучше не правильные) и нажми войти. В инструментах разработчика появится новая строка, с отправленными данными, ткни на нее и посмотри что было отправлено

Если что-то не понятно - спрашивай, кидай скрины

я еще полазил в коде и теперь запрос авторизации возвращает

{"success": true, "redirect": "/"}

зарегистрироваться получилось, но сам сайт отвечает

{'faultcode': 'Server', 'faultstring': 'Вы не авторизованы!', 'detail': ''}

 

[Vershitel_sudeb]

я еще полазил в коде и теперь запрос авторизации возвращает

{"success": true, "redirect": "/"}

зарегистрироваться получилось, но сам сайт отвечает

{'faultcode': 'Server', 'faultstring': 'Вы не авторизованы!', 'detail': ''}

Ну только наверное залогиниться, а не зарегистрироваться. Попробуй задать сессии заголовки по умолчанию, они тоже вроде могут влиять, а ты передаешь их только один раз

url = "https://es.ciur.ru/auth/login"
homework_url = "https://es.ciur.ru/api/HomeworkService/GetHomeworkFromRange"

header = {
     'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}

session = requests.Session()
session.headers = header

data = {
    'login_login': 'ТУТ_ЛОГИН',
    'login_password': 'ТУТ_ПАРОЛЬ'
    }

response = session.post(url, data=data)
responce = session.get(homework_url)
print(responce.json())

 

[Глеб]

Ну только наверное залогиниться, а не зарегистрироваться. Попробуй задать сессии заголовки по умолчанию, они тоже вроде могут влиять, а ты передаешь их только один раз

url = "https://es.ciur.ru/auth/login"
homework_url = "https://es.ciur.ru/api/HomeworkService/GetHomeworkFromRange"

header = {
     'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}

session = requests.Session()
session.headers = header

data = {
    'login_login': 'ТУТ_ЛОГИН',
    'login_password': 'ТУТ_ПАРОЛЬ'
    }

response = session.post(url, data=data)
responce = session.get(homework_url)
print(responce.json())

Ничего не произошло, ответ все такой же
{'faultcode': 'Server', 'faultstring': 'Вы не авторизованы!', 'detail': ''}

А может как то влиять что ссылку я беру через панель разработчика, из подгружаемого запроса?