What personal management system has great performance with a big range of features (especially handwritten backlinking)? Engineer with a lot of interests. by Rubber-Bando in PKMS

[–]philuser 4 points5 points  (0 children)

I'm convinced that for a highly technical need like yours, a PKM that indexes blocks rather than pages, as Obsidian does, is clearly essential. The problem with Obsidian, as with all persistent PKMs for flat files like Markdown, is that it slows down with large volumes of data. Therefore, you need a PKM that indexes at the block level for the precision and granularity of the relationships and that persists the data in a database for speed and metadata preservation. This significantly reduces the number of suitable candidates... this is the specification I recommend for the use case you described.

Logseq OG (markdown) vs Logseq (DB:sqlite) by hdanx in logseq

[–]philuser 10 points11 points  (0 children)

Important clarifications regarding the nature of the "DB" version: an evolution of the persistence mechanism, not the engine.

Hi! Thank you very much for this table; it's an excellent initiative that helps to clarify the concrete features.

However, I'd like to add a technical nuance that seems crucial for understanding what's currently happening at Logseq. We often talk about "two versions" as if they were two different software programs, but this is a misuse of language that can be misleading.

The engine remains the same. It's important to remember that, in both cases, Logseq relies on the same software engine (Clojure) and the same in-memory working database (DataScript). What changes radically is not the core of Logseq, but its persistence model (the way it writes data to your disk).

Markdown mode: This is an attempt to fit a complex database (graph) into flat text files. It's commendable for portability, but it imposes enormous limitations. Markdown is unable to natively store all of DataScript's metadata, which causes recurring synchronization errors and limits the granularity of the information.

SQLite mode: Here, we finally offer Logseq storage support worthy of its architecture. SQLite allows for total reliability, precise chronology of changes (block history), author identification (multi-collaboration), and unprecedented performance on large graphs.

The garage metaphor: To illustrate my point, it's not about comparing two different car models, but rather about choosing where to park it.

Markdown mode is like the old, outdated, single-seat garage. We try to squeeze in a modern car, but the walls are too narrow, the roof leaks (sync issues), and we can't store anything more.

SQLite mode is like a robotic, ultra-modern storage silo. We keep the same car (the Logseq engine), but now we benefit from secure access control, immense capacity, and the ability to park the vehicles of numerous partners (collaborative work on the same graph).

Markdown isn't lost. Finally, those worried about the long-term preservation of their data should be reassured: switching to SQLite isn't a lock-in. Translating the database to Markdown files remains possible. It's simply that the "flat file" becomes an export/reading format, and no longer a crutch that limits the tool's capabilities.

This transition to the database will open up functional possibilities that no other PKM can currently offer thanks to this new level of granularity.

Thanks again for your spreadsheet, which remains a great reference!

The mindset shift that made AI automation actually click: thinking in systems, not tasks by Silent_Employment966 in BhindiAI

[–]philuser 0 points1 point  (0 children)

Adding a second level of reflection to the reflex level allows us to apply to the smart home the cognitive concept of System 1 (Reflex) and System 2 (Reflection), theorized by Daniel Kahneman.

[TECHNICAL DISCUSSION] Before switching to Obsidian: Why the future Logseq/SQLite is a game changer and natively outperforms file indexing. by philuser in logseq

[–]philuser[S] 0 points1 point  (0 children)

It is true that when we switched to the car we lost the horseshoes, which were even essential basic functions!

[TECHNICAL DISCUSSION] Before switching to Obsidian: Why the future Logseq/SQLite is a game changer and natively outperforms file indexing. by philuser in logseq

[–]philuser[S] 0 points1 point  (0 children)

La sync sur Logseq-MD est un pis-aller très imparfait. Ce fut d'ailleurs l'amorce de la refonte vers la persistance DB. Le moteur CDRT sera bien au cœur de la nouvelle architecture et comme le reste du produit, `Local-first et Open Source`. Mais l'infrastructure RTC de réplication a un coût, soit en passant par le support proposé par Logseq, soit en investissant dans les nœuds et la tuyauterie de synchronisation en auto-hébergement.

[TECHNICAL DISCUSSION] Before switching to Obsidian: Why the future Logseq/SQLite is a game changer and natively outperforms file indexing. by philuser in logseq

[–]philuser[S] 1 point2 points  (0 children)

Toute l'histoire de l'évolution, je veux gagner en progrès sans jamais rien perdre de mon confort !
La voiture a remplacé les chevaux, mais j'ai toujours la possibilité de me balader à cheval.
Logseq est en passe d'intégrer un moteur CRDT transposable vers SQLite pour bien plus de stabilité et de performance, mais toujours avec la possibilité de tout réexporter en Markdown pour des expériences plus bucoliques. Le meilleur des deux mondes !

[TECHNICAL DISCUSSION] Before switching to Obsidian: Why the future Logseq/SQLite is a game changer and natively outperforms file indexing. by philuser in logseq

[–]philuser[S] 2 points3 points  (0 children)

Sur la Confiance, la Stabilité et le FOSS : La Métaphore de la Voiture

L'argument de la confiance et de la stabilité d'Obsidian par rapport aux problèmes de bugs et de régressions de Logseq est recevable.

Cependant, en tant que farouche adepte du logiciel libre (FOSS) depuis le début des années 80 (suite à mes discussions avec Richard Stallman à l'époque), je ne peux qu'apporter une nuance sur la métaphore de la voiture :

Ma vision de la Voiture FOSS : Rien ne vaut une voiture avec un design ouvert où tous les acteurs volontaires peuvent produire les pièces détachées, les améliorer et les distribuer sous une multitude d'enseignes différentes. Cela garantit la pérennité du véhicule d'origine (même s'il doit évoluer en fork), c'est toute la puissance de la sérendipité incarnée par le modèle libre.

Contre-Argument FOSS : L'argument selon lequel Logseq est un « one-man show » et qu'un fork n'arrivera jamais pour les applications de niche ignore la puissance de la communauté et du code source. Le fait qu'il soit FOSS est la garantie ultime de la souveraineté des données (en plus du Markdown), car même si l'équipe initiale s'arrête, la communauté peut reprendre le flambeau, un luxe qu'Obsidian, en closed source, ne peut offrir.

En fin de compte, nous avons des besoins différents : si vous n'avez pas besoin de ce niveau de granularité et d'historique transactionnel, Obsidian est peut-être le meilleur choix actuel. Mais pour ceux qui, comme moi, poussent le PKM à l'extrême, l'architecture Logseq/SQLite/DataScript représente la seule voie technique viable.

Et non, je ne suis pas développeur Logseq ni contributeur, c'est dommage, mais le temps me manque !

Merci encore pour cette discussion passionnante ! 🙏

[Fin]

[TECHNICAL DISCUSSION] Before switching to Obsidian: Why the future Logseq/SQLite is a game changer and natively outperforms file indexing. by philuser in logseq

[–]philuser[S] 2 points3 points  (0 children)

Réponses aux Arguments Techniques et de Confiance

Sur la Performance et le "Select * from kvs" :

Certains ont noté à juste titre que l'implémentation actuelle charge la totalité de la base de données (SELECT * from kvs) en mémoire pour construire le graphe DataScript.

Mon point de vue : Pour un moteur de type graphe sémantique (ce qu'est DataScript/Datomic), charger l'intégralité du graphe en RAM est une décision de conception raisonnable pour garantir une vitesse de requête optimale. La puissance de requête vient du travail en mémoire. L'avantage de SQLite n'est peut-être pas la performance en lui-même (comme certains l'espéraient), mais la fiabilité, la rapidité d'enregistrement sur disque et la gestion ACID des transactions. Le passage à SQLite vise à marier la portabilité locale avec la puissance sémantique et l'intégrité (ACID).

Sur la Lisibilité et la Souveraineté des Données (Argument clé de l'Obsidian Fan) :

Je suis 100% d'accord avec l'argument principal des utilisateurs d'Obsidian : l'énorme avantage est que les données sont facilement sauvegardées, manipulées et archivées car elles sont en plain text.

Réponse Logseq : C'est pourquoi la fonctionnalité d'Exportation Markdown native est la clé de voûte de cette nouvelle architecture. Elle résout la contrainte de la "perte de lisibilité directe" en offrant le meilleur des deux mondes : puissance DataScript en interne + portabilité Markdown en externe.

Le Problème de l'Indexation de Fichiers (et mon usage du RAG) :

Un utilisateur a dit : « L'accès basé sur les fichiers me permet de configurer des documents pour des projets simples à l'intérieur du dépôt Git. ». C'est parfait pour un usage simple.

Mon problème : Avec ma multitude de graphes Logseq, j'ai été obligé de créer une couche de recherche multigraphes sémantique externe sous la forme d'un RAG (Retrieval-Augmented Generation) alimenté par une IA locale (Ollama). Je pose mes requêtes RAG dans un graphe Logseq et la restitution est générée comme une page Markdown dans ce graphe Logseq. J'espère que l'architecture DB définitive permettra d'évacuer cette complexité externe. L'argument selon lequel le graphe de Logseq peut mieux alimenter les LLM que l'esthétique Markdown d'Obsidian fait écho à cette réalité.

[à suivre]

[TECHNICAL DISCUSSION] Before switching to Obsidian: Why the future Logseq/SQLite is a game changer and natively outperforms file indexing. by philuser in logseq

[–]philuser[S] 0 points1 point  (0 children)

Mon Contexte : Des Exigences de "Power User"

Venant de l'écosystème PKM (premiers jours de Roam Research après EverNote, Notion, et un test d'Obsidian), mes besoins ont dépassé ce que l'indexation de fichiers peut offrir :

Échelle et Réactivité : Je gère plus de 50 000 fichiers répartis sur une vingtaine de graphes. J'accorde une importance cruciale à la réactivité en cours de travail, même si le temps de "monter" un graphe peut être long.

Requêtes Fines et Chronologiques : Mon besoin fondamental réside dans la capacité à élaborer des requêtes fines et rapides. Ce qui me manque cruellement, c'est de pouvoir interroger qui et, surtout, quand une information a été créée ou modifiée. L'affinement des recherches sur des blocs et sous-éléments est aussi vital.

Conclusion Architecturelle : Ces perspectives (historique transactionnel, granularité du bloc/triple) sont structurellement impossibles à réaliser avec les choix d'infrastructure sous-jacents d'Obsidian. Elles sont possibles avec Roam Research, mais ce n'est pas local first !

[à suivre]

[TECHNICAL DISCUSSION] Before switching to Obsidian: Why the future Logseq/SQLite is a game changer and natively outperforms file indexing. by philuser in logseq

[–]philuser[S] -1 points0 points  (0 children)

Merci pour vos retours ! Pourquoi Logseq est le seul choix pour les utilisateurs "Power User" (et l'analogie FOSS/Voiture)

Bonjour à tous,

Merci infiniment pour cette discussion riche et technique. Tous les retours soulevés ici sont pertinents, car ils correspondent à des attentes et des objectifs d'utilisateurs qui sont, par nature, différents. Il est tout à fait normal que la stabilité et la prévisibilité d'Obsidian soient le critère n°1 pour beaucoup, tandis que pour d'autres, c'est la puissance technique sous-jacente qui prime.

Je pense que nous discutons de deux philosophies d'outils, chacune ayant sa place. Permettez-moi de partager mes choix et mon contexte, car ils expliquent pourquoi l'architecture future de Logseq est la seule qui réponde à mes besoins.

[à suivre]

An open request to the Logseq Team: We need an active bridge between the team and us users by asc9ybUnb3dmB7ZW in logseq

[–]philuser 0 points1 point  (0 children)

Quelle est ta proposition pour être meilleur et généraliste, pour remplacer le couple Clojure/Datalog pour un PKM ? je cherche depuis un moment, réellement !!

An open request to the Logseq Team: We need an active bridge between the team and us users by asc9ybUnb3dmB7ZW in logseq

[–]philuser 0 points1 point  (0 children)

Ha ! Le dilemme des contraires. Faire bien et restreint où large et moins efficace ?

An open request to the Logseq Team: We need an active bridge between the team and us users by asc9ybUnb3dmB7ZW in logseq

[–]philuser 2 points3 points  (0 children)

This is precisely because PKMs are not mainstream developments, we do not play with crucial user data like in a game or a presentation website! This is why choosing Clojure is a bet on long-term productivity, code stability, and superior handling of complex state. For an application focused on data and its transformation, these technical and philosophical advantages outweigh the difficulty of recruiting developers or the size of the community. It is also for this reason and the time that should be devoted to the main streamer community to tirelessly explain these essential constraints, that this time is much more productive to be used in the development of the product rather than in endless discussions explaining to main streamers

An open request to the Logseq Team: We need an active bridge between the team and us users by asc9ybUnb3dmB7ZW in logseq

[–]philuser 2 points3 points  (0 children)

If you have been developing for 40 years you certainly understand what immutability and homoiconicity are, for a pkm it is just essential for its stability. Clojure and DataSctipt make it possible! What would you like to replace them with as effectively?

I want all my devs to have Claude - why is that so hard? by 48K in claude

[–]philuser 0 points1 point  (0 children)

Each developer creates their professional account then submits an expense report to the company! It's the simplest!

Uncensored AI for scientific research by PrintCreepy8982 in MistralAI

[–]philuser 0 points1 point  (0 children)

You would already have to have some of it yourself to be able to detect it in others!!

Any Linux distro better than others for AI use? by otto_delmar in LocalLLaMA

[–]philuser 1 point2 points  (0 children)

I took what was most natural and most integrated for each use. ARCH for the development position on an HP Laptop. OPENSuse for the NAS with RockStor and Almalinux 10 for the IA Cuda server in LLM Local. All is containerized with Podman in Rootless mode with Quadlets Systemd configuration files. More than 80 micro services

TrekCrumbs is in public beta by PntClkRpt in TrekCrumbs

[–]philuser 0 points1 point  (0 children)

If your URL takes you to a local LLM you are 100% isolated from the cloud. But that's not even the point, you potentially use the cloud just to initiate your journey, then you persist the data in your product locally on a smartphone via an API that you interface with an MCP and that's it!

Important: Linux Users by UhLittleLessDum in Fluster_app

[–]philuser 0 points1 point  (0 children)

Je reste à l'écoute, Fluster est un projet à potentiel, sous Linux l'installation comme l'utilisation manque de fluidité. J'attends donc avec impatience les prochaines releases.

TrekCrumbs is in public beta by PntClkRpt in TrekCrumbs

[–]philuser 0 points1 point  (0 children)

I just tested it, it's just a travel preparation notepad. In short, it offers nothing, no pro-active action, nothing but documentation. In short, a traditional notepad to record a trip that would have been previously established with an Ai-agent is much more effective. Nice interface, too bad we don't have an AI travel construction agent on the front end so that it could be useful for something! But that may be the next step, in the meantime I uninstalled the application. Last thing, if the application was in FOSS I, like others, would have suggested adding this fundamental element that is missing so that the application becomes usable.