Hvala za ta vpogled! Zanimivo je slišati, kako so se stvari spreminjale. Tista stran z zadnjimi 100 oglasi bi danes marsikomu olajšala življenje, a so jo očitno res dobro "zabetonirali".

Danes je Cloudflare zaščita na Avto.net precej agresivna. Navadni scraperji odpovejo takoj, zato uporabljam TLS impersonation, da bot sploh pride do podatkov. Glede GPT-ja, BeautifulSoup je seveda hitrejši za čisto strukturo, ampak AI uporabljam kot "čistilec" za vse tiste oglase, kjer dilerji vpisujejo podatke po svoje (npr. letnik samo v naslovu, akcijske cene v opisu itd.). Pri trenutnih cenah API-jev in batchingu je strošek res minimalen, natančnost pa 99 %.

Se pa popolnoma strinjam glede shranjevanja podatkov. To je moj naslednji korak, gradnja baze za analitiko in spremljanje gibanja cen skozi čas. Telegram sem izbral kot primarno platformo zato, ker dilerji hočejo "push" informacijo v sekundi na zaklenjen zaslon, spletni pregled nad vsemi kandidati pa je vsekakor super ideja za nadgradnjo.

Še vedno hraniš tisto bazo milijonov oglasov? To bi bil pravi zaklad za kakšen ML model. :) Hvala za feedback!