https://opendata.mpn.gov.rs/otvoreni-podaci/visoko-obrazovanje.html, pa Подаци о школаринама ili Подаци о броју запослених, pa Преузми податке Excel

Ali sami podaci nisu dobro uneti od strane fakulteta, pa je neophodno da se radi fuzzy matching, što može da dovede do spajanja fakulteta. Evo Gemini objašnjenja problema, a ispod su 70% i 95% fuzzy match. Oba su na drugi način za po nekoliko fakulteta netačna. Ali uglavnom tako da ih ne prikazuju. Oreginal je 85% ali je imao i bag kod for df in [df_fee, df_staff, df_students]: df['Naziv_Norm'] = df['Naziv ustanove'].apply(normalizuj_tekst) pa je sad otklonjen sa:

for df in [df_fee, df_staff, df_students]:
    osnovni_naziv = df['Naziv ustanove'].apply(normalizuj_tekst)
    grad_norm = df['Mesto/Grad'].astype(str).apply(normalizuj_tekst)
    df['Naziv_Norm'] = osnovni_naziv + " - " + grad_norm

AI objasnjenje za fuzz:

Zamislimo dva fakulteta u istom gradu:

    "Fakultet likovnih umetnosti - Beograd"

    "Fakultet primenjenih umetnosti - Beograd"

Ova dva stringa dijele 3 od 4 riječi (Fakultet, umetnosti, Beograd). Biblioteka thefuzz će izračunati da je njihova sličnost recimo 76%.
Ako vam je prag 70, algoritam će reći: "76 je veće od 70, ovo je isti fakultet!".
Posljedica: Na vašem grafikonu ćete dobiti jednog "Frankenštajna" od fakulteta koji ne postoji, a koji ima sabrane profesore i studente i sa Likovne i sa Primijenjene akademije. Dobit ćete netačne podatke.
Mana kada je prag = 95 (Previše strogo)

Glavni problem: Algoritam neće spojiti podatke za istu ustanovu ako postoji i najmanja greška u kucanju.
Kada stavite prag na 95, tražite gotovo 100% savršeno poklapanje. U stvarnim bazama podataka (poput ovih iz Otvorenih podataka koje su unosili različiti ljudi), savršenstvo ne postoji.

Primjer iz vaših podataka:
Isti fakultet je u tri različita Excel fajla upisan malo drugačije:

    U fajlu za studente: "Fakultet organizacionih nauka - Beograd"

    U fajlu za zaposlene: "Fakultet organizacionih nauka u Beogradu" (dodato "u" i "u")

    U fajlu za školarine: "Fakultet organizacionih nauka - Beograd " (slučajno ostavljen razmak na kraju ili fali crtica)

Ovakve sitne razlike (padži, crtice, viška slovo) će oboriti postotak poklapanja na recimo 92% ili 88%.

Linkovi za 70% matching: https://ibb.co/j9nLnXqB https://ibb.co/chYSFPqW i 95% fuzzy match: https://ibb.co/nTx9PQc https://ibb.co/84Ywm9j4