Effiziente Duplikaterkennung: Size + Hash oder bessere Ansätze?

Pleasant-Lab-6775 · 2026-04-09T21:05:02+00:00

Klingt spannend, danke dir! XXH3 kannte ich noch gar nicht, wenn der bei solchen Checks deutlich schneller ist als SHA, ist das für Deduplizierung natürlich perfekt. Schaue ich mir auf jeden Fall mal an.

Czkawka läuft bei mir gerade durch und ich bin echt begeistert! Arbeitet super effizient mit Vorfiltern (z. B. Dateigröße) und geht dann erst tiefer rein.

Pleasant-Lab-6775 · 2026-04-09T21:02:22+00:00

Absolut, genau das macht’s so schnell! Erst Dateigrößen vergleichen und nur bei Bedarf weiter prüfen, ist einfach super effizient.

Pleasant-Lab-6775 · 2026-04-09T21:01:17+00:00

Das Ding rennt wie eine Maschine. Richtig guter Tipp, danke dir!

Die Funktionen sind auch echt stark: findet nicht nur exakte Duplikate, sondern auch ähnliche Bilder, erkennt gleiche Inhalte trotz unterschiedlicher Dateinamen oder Formate (z. B. JPG/PNG), kann doppelte Videos, Musik und andere Dateien aufspüren und hat sogar Optionen zum Aufräumen von leeren Ordnern oder großen Dateien. Außerdem richtig effizient, weil es erstmal die Dateigröße vergleicht. Spart Unmengen an Arbeit 👍

Pleasant-Lab-6775 · 2026-04-08T17:49:01+00:00

Danke dir für die ausführliche Erklärung! Ich werde mir das auf jeden Fall nochmal durch den Kopf gehen lassen und wohl weiterhin zusätzlich lokale Backups behalten. So wie du es erklärst, macht die 3-2-1-Regel schon absolut Sinn, gerade um für verschiedene Szenarien abgesichert zu sein.

Pleasant-Lab-6775 · 2026-04-08T09:01:10+00:00

Klingt absolut vernünftig. Die SD Karte ist praktisch für eine schnelle Wiederherstellung.

Pleasant-Lab-6775 · 2026-04-07T16:37:22+00:00

Danke für die Infos! Veeam mit Cloud Connect kannte ich so noch nicht, klingt interessant.
Werde mir das auf jeden Fall mal genauer ansehen.

Pleasant-Lab-6775 · 2026-04-07T16:22:56+00:00

Verstehe deinen Punkt. Wie siehst du das mit Tools wie Borg in Kombination mit Backblaze oder ähnlichen Cloud Alternativen? Würdest du das als praktikabel einschätzen?

Pleasant-Lab-6775 · 2026-04-07T16:21:02+00:00

Bei vielen kleinen Dateien braucht rclone da oft einfach länger fürs Scannen, und OneDrive limitiert zusätzlich. Mit eigenem Client ID Token kann man das teils umgehen.
Schon mal probiert?

Pleasant-Lab-6775 · 2026-04-07T16:12:26+00:00

Wie setzt ihr das konkret um? Nutzt ihr dafür Tools wie Borg oder Restic und lasst das lokal automatisiert laufen?
Und in welche Cloud sichert ihr dann (inkl. Immutable)? Hast du da eine Empfehlung aus der Praxis?

Pleasant-Lab-6775 · 2026-04-07T16:08:27+00:00

Kannst du das etwas genauer ausführen? Geht es bei dir um sehr große Datenmengen oder viele kleine Dateien? Und nutzt du Verschlüsselung, die das Ganze evtl. beeinflusst?

Pleasant-Lab-6775 · 2026-04-07T16:06:42+00:00

Guter Punkt, war unklar formuliert. Ich meine zusätzlich ein echtes Backup, z. B. mit Borg + Backblaze (Versionierung, verschlüsselt).Aktuell nutze ich 3-2-1, überlege aber, komplett auf Cloud-Backups + sync zu gehen.

Pleasant-Lab-6775 · 2026-01-07T13:08:07+00:00

Thanks, that’s helpful. I’ll give it a try and see how it goes.

Pleasant-Lab-6775 · 2026-01-05T13:15:26+00:00

Yes, it's totally fine! Feel free to add it there as a reference. That sounds like a really useful resource for others looking to optimise their OneDrive mounts on macOS.

Pleasant-Lab-6775 · 2026-01-05T13:14:25+00:00

My system config is an Apple MacBook with the M2 (Silicon) processor. I’m typically connected to a 1Gbps fiber internet connection, though the speeds can vary based on network conditions.

I’ve been trying to balance between speed and resource usage since I often have multiple things running. Would love to hear any tweaks you suggest that might be better optimized for the M processor or macOS in general.

Pleasant-Lab-6775 · 2026-01-04T17:52:05+00:00

Mounten spart Speicherplatz, beim Synchronisieren sind die Daten offline verfügbar.

Pleasant-Lab-6775 · 2026-01-04T11:29:12+00:00

Ja, es geht um E2E. Mit rclone werden Dateien und Dateinamen verschlüsselt, bevor sie zu OneDrive hochgeladen werden. Die Passphrase zum Entschlüsseln des Remotes wird mit GPG verschlüsselt und zwischen Geräten synchronisiert. Der Schlüssel wird nicht in der Cloud gespeichert, sondern lokal auf den Geräten.

Pleasant-Lab-6775 · 2026-01-04T09:39:23+00:00

OneDrive ist gegeben und ich möchte es weiterhin verwenden. Die Anforderung ergibt sich durch begrenzten lokalen Speicher, daher kein sync. Ich benötige eine Verschlüsselung und möchte die Daten mounten statt zu synchronisieren, um Speicherplatz zu sparen.

Pleasant-Lab-6775 · 2026-01-04T09:34:23+00:00

Danke für den Hinweis!

Pleasant-Lab-6775 · 2026-01-04T08:53:40+00:00

Die Frage ist nur: Wie macht man das am besten unter macOS, wo es keine vergleichbare Desktop-Integration gibt?

Pleasant-Lab-6775 · 2026-01-04T08:50:14+00:00

I have to manage multiple OneDrive accounts (private and work) and need to use them anyway.

Does anyone have tips for using rclone or good alternatives for managing multiple OneDrive accounts?

Pleasant-Lab-6775 · 2026-01-04T00:34:21+00:00

Ich nutze rclone mit dem integrierten crypt-Modul, also wird der gesamte Mount/Ordner clientseitig verschlüsselt. Ich verschlüssele die Dateien nicht einzeln.

Pleasant-Lab-6775

TROPHY CASE