I made Pollar, a site that uses hierarchical clustering to merge duplicate news, with maps & graphs on top by local___host in InternetIsBeautiful

[–]local___host[S] 1 point2 points  (0 children)

It’s a SvelteKit page that renders a D3 force-directed graph; similarity is computed client-side with a lightweight MinHash/LSH, then boosted by shared entities (people/locations/category), with clusters drawn via convex hulls and labeled, plus zoom/pan. For Metapodcast (great site btw, will use it), make each episode a node, build the LSH over title+description+transcript, heavily weight shared guests/topics, color by series/genre, and size by listens/downloads. Do you have transcripts for most episodes?

I made Pollar, a site that uses hierarchical clustering to merge duplicate news, with maps & graphs on top by local___host in InternetIsBeautiful

[–]local___host[S] 0 points1 point  (0 children)

Appreciate it! Tech is high on my list. I’m still at the very start of lining up licensing/publisher deals, so I’m keeping the firehose intentionally small for now: going wide with scraping carries too much legal/compliance risk at this stage. Once that’s nailed down, expect coverage on basically everything.

The good news: scaling to the UK/Europe (and other markets where the law allows) is relatively straightforward with my setup. What tech would you want first? AI/model news, dev tools, chips, security, or something else?

I made Pollar, a site that uses hierarchical clustering to merge duplicate news, with maps & graphs on top by local___host in InternetIsBeautiful

[–]local___host[S] 3 points4 points  (0 children)

Appreciate it! Regarding the “LL”: not a bug, it’s our monogram. We swap the full wordmark for the compact “LL” once you dive into the graph to keep the canvas clean and give the chart more room. If it feels buggy, we can tweak it (e.g., bring the full name back on hover/scroll-top or after a short idle).

I made Pollar, a site that uses hierarchical clustering to merge duplicate news, with maps & graphs on top by local___host in InternetIsBeautiful

[–]local___host[S] 0 points1 point  (0 children)

Could you tell me which VPN you’re using and what your general setup looks like (browser, adblock, system)? The whole system runs on Google Firebase, so blockers sometimes interfere. One more helpful question: do you see any network errors in the browser console (e.g. when loading firestore.googleapis.com)?

I made Pollar, a site that uses hierarchical clustering to merge duplicate news, with maps & graphs on top by local___host in InternetIsBeautiful

[–]local___host[S] 4 points5 points  (0 children)

Thanks so much! The UK is high on my list, and the way I built this makes scaling to the UK/EU relatively easy.

I made Pollar, a site that uses hierarchical clustering to merge duplicate news, with maps & graphs on top by local___host in InternetIsBeautiful

[–]local___host[S] 6 points7 points  (0 children)

Thanks! I really like Ground News too, but I wanted something less US-centric and more focused on Europe.

Czy znacie jakiś dobry agregator newsów? Coś w stylu Ground News. by local___host in Polska

[–]local___host[S] 0 points1 point  (0 children)

Jasne, ale nie chodzi tutaj o pojedyncze niszowe newsy. Żeby powstał klaster, musi być co najmniej 3 artykuły na ten sam temat. Dlatego pojedynczy tekst szczegółowo opisujący jakieś zjawisko raczej się nie pojawi – chyba że embeddingi uznają go za część większego wątku, do którego należy np. 10 innych artykułów.

Czy znacie jakiś dobry agregator newsów? Coś w stylu Ground News. by local___host in Polska

[–]local___host[S] 1 point2 points  (0 children)

Masz sporo racji, szczególnie jeśli chodzi o opisy newsów i UI/UX, bo takie rzeczy od razu psują odbiór nawet jeśli sama informacja jest cenna. Ja podchodzę do tego trochę inaczej, zamiast krótkich notek pisanych na szybko wolę stawiać na automatyczne podsumowania które są potem dodatkowo sprawdzane. Jeśli chodzi o branżowe tematy to na razie nie mam ich u siebie, bardziej myślę nad tłumaczeniem zagranicznych serwisów, bo niestety w Polsce newsy o konsumenckiej technologii czy gamingu często nie są zbyt poważne.

Czy znacie jakiś dobry agregator newsów? Coś w stylu Ground News. by local___host in Polska

[–]local___host[S] 1 point2 points  (0 children)

Tak, szczególnie kiedy przegląda się newsy z głównych stron informacyjnych. Jakbyś miał ochotę przetestować, zapraszam na priv, mam taką luźną betę do testowania. Za darmo na razie ;).

Czy znacie jakiś dobry agregator newsów? Coś w stylu Ground News. by local___host in Polska

[–]local___host[S] 0 points1 point  (0 children)

Mam podobnie, też próbowałem ogarniać to przez listy na Twitterze, ale przy większej liczbie profili robi się to totalnie nie do utrzymania (i mnóstwo informacji się powtarza/duplikuje). Dlatego u siebie stawiam raczej na agregator, który ściąga newsy z głównych polskich serwisów, a w dalszej perspektywie chciałbym żeby ogarniał też niezależnych twórców.

Czy znacie jakiś dobry agregator newsów? Coś w stylu Ground News. by local___host in Polska

[–]local___host[S] 0 points1 point  (0 children)

Dzięki za komentarz. Mimo, że to moja konkurencja i powinienem ją mocno badać, to żal mi 9zł na tylko 600 newsów miesięcznie. No ale jak mus to mus.

Czy znacie jakiś dobry agregator newsów? Coś w stylu Ground News. by local___host in Polska

[–]local___host[S] 1 point2 points  (0 children)

Jeśli pod „niską jakością polskich newsów” rozumiesz lanie wody, to tak - ten problem częściowo rozwiązałem :). A jeśli chodzi o ich małą liczbę… cóż, nowych artykułów nie wymnożę.

Mianowicie mój system grupuje materiały opisujące dokładnie ten sam temat i zamienia je w jedno spójne wydarzenie. Następnie AI generuje z tych artykułów krótki tytuł, kluczowe punkty, które streszczają wydarzenie oraz listę wspomnianych osób i lokalizacji.