Соскребать сайт: не могу нажать кнопку

python-3.x web-scraping beautifulsoup screen-scraping

151 просмотра

2 ответа

4 Репутация автора

Я пытаюсь почистить этот сайт https://www.underarmour.com/en-us/womens/apparel/sports-bras?lsg=4eab83ec-bc9d-495a-bf57-7b49b43c7560

использовать США в качестве страны

Я пытаюсь очистить все ссылки на изображения.

Но я не могу нажать кнопку ЗАГРУЗИТЬ БОЛЬШЕ, что бы я ни делал.

Автор: rohit pandey Источник Размещён: 18.07.2016 08:03

Ответы (2)


0 плюса

489 Репутация автора

Этот сайт кажется динамичным, поэтому я предлагаю использовать Selenium . Это гораздо проще "нажимать" на кнопки и все, так как он имитирует реального пользователя и запускает настоящий браузер. Если вы хотите немного ускорить его, используйте PhantomJS в качестве браузера.

Вот учебник: Селен с Python

Автор: UpmostScarab Размещён: 18.07.2016 08:35

0 плюса

72 Репутация автора

Я бы тоже порекомендовал использовать Selenium с PhantomJS.

Вы должны быть в состоянии найти решение проблемы с идентификатором AJAX, многие сайты используют сгенерированный идентификатор, но этот элемент будет по-прежнему иметь ту же позицию, поэтому я думаю, что выбрать его с помощью css будет вариант. У меня была эта проблема раньше, и я хотел бы получить html с селеном, а затем с помощью lxml / cssselect (python) найти кнопки, которые нужно нажимать, а затем щелкнуть их, «вводя» код js в активный браузер, но я Предположим, вы можете пропустить часть Python.

Автор: Trantidon Размещён: 06.06.2018 11:14
Вопросы из категории :
32x32