Stoję przed problemem, który sam sobie stworzyłem ale jak już zacząłem to chcę dokończyć a stanąłem pod ścianą.
Otóż, pomyślałem o tym aby napisać kawałek kodu, który po uruchomieniu będzie zapisywał do pliku CSV nazwę hotelu i cenę z jednego z popularnych biur podróży (TUI).
from bs4 import BeautifulSoup
import requests
html = 'adres strony'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}
response = requests.get(html, headers=headers)
soup_obj = BeautifulSoup(response.text, 'lxml')
print(soup_obj.prettify())
Przeglądam sobie to co mi wyszło, porównuję na bieżąco z inspektorem safari i się coraz bardziej denerwuję.
Cena, którą między innymi szukam znajduje się na samym dole screena
w
<div class="price label big l trans-y">
price label big l trans-y
a to co wychodzi mi mi z kodu w Pythonie kończy się na divie.., który w "drzewku" jest o wiele wyżej.
<div class="col-xs-9" id="offerPage">
Nie znam się na "nowoczesnych" stronach web :P nie wiem co to za cuda w JS czy innym shicie.
Chciałbym tylko się zapytać, czy istnieje sposób, dzięki któremu będę w stanie to jakoś wyciągnąć?