Selenium при скроллинге страницы вниз - не подгружает контент

[Tango]

Привет всем, я использую Selenium для того чтобы прокручивать страницу вниз для получения динамического контента и затем сделать парсинг. Не могли бы подсказать почему в моем случае скрипт прокручивает страницу до нижней части, но при этом контент не загружается?

from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
import time


link = 'https://vk.com/@yvkurse'

driver = webdriver.Chrome(ChromeDriverManager().install())
driver.get(link)

SCROLL_PAUSE_TIME = 1

# Get scroll height
last_height = driver.execute_script("return document.body.scrollHeight")

while True:
    # Scroll down to bottom
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

    # Wait to load page
    time.sleep(SCROLL_PAUSE_TIME)

    # Calculate new scroll height and compare with last scroll height
    new_height = driver.execute_script("return document.body.scrollHeight")
    if new_height == last_height:
        break
    last_height = new_height


# driver.quit()

 

[stud_55]

Конкретно по этой ссылке https://vk.com/@yvkurse просто больше контента нет.
На других страницах работает. Вот пример:

from selenium import webdriver
import time


link = 'https://vk.com/open_sourcecode'

driver = webdriver.Chrome()
driver.maximize_window()
driver.get(link)
driver.implicitly_wait(3)

SCROLL_PAUSE_TIME = 1

# Get scroll height
last_height = driver.execute_script("return document.body.scrollHeight")

while True:
    # Scroll down to bottom
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    # Wait to load page
    time.sleep(SCROLL_PAUSE_TIME)

    # Calculate new scroll height and compare with last scroll height
    new_height = driver.execute_script("return document.body.scrollHeight")
    if new_height == last_height:
        break
    last_height = new_height

 

[Student]

Вы попытались без селениума, просто используя свой браузер, зайти и проверить если не получите тот же результат?