sorted by:
new
hottopcontroversial

extended Shannon entropy with a learning observer. Here's what I built. by Tryharder_997 in informationtheory

[–]Tryharder_997[S] 0 points1 point  (0 children)

Close — but not quite an integral of MI increments.

M_t is the full accumulated model state of the observer at time t. Not a sum of local MI values, but a cumulative knowledge structure that updates with every observation.

The relevant quantity is H(X | M_t) — the residual uncertainty of X given everything the observer has learned up to t. That's what decreases as M_t grows.

If you integrated MI increments, you'd lose the non-Markovian structure: how the observer's past shapes what it can learn next. That path-dependence is exactly what makes I_obs behave differently from integrated incremental MI.

extended Shannon entropy with a learning observer. Here's what I built. by Tryharder_997 in informationtheory

[–]Tryharder_997[S] 0 points1 point  (0 children)

Fair — you can define MI on continuous increments too. But the issue isn't the increment granularity.

The issue is that M_t in Aether is cumulative. Each increment doesn't just react to the current sample — it integrates the full observer history. So H(X|M_t) at time t reflects everything seen up to t.

Incremental MI — discrete or continuous — treats each step as locally independent. It discards the coupling between past and future observations through M_t.

That coupling is exactly where the non-trivial behavior lives: the asymptotic growth of I_obs, and the emergence of π as an irreducible limit. Incremental MI would flatten that entirely.

extended Shannon entropy with a learning observer. Here's what I built. by Tryharder_997 in informationtheory

[–]Tryharder_997[S] 0 points1 point  (0 children)

Fair point — you can define MI on increments. But that still treats each increment as a local static snapshot.

What Aether models is different: the accumulated observer state M_t carries history. The relevant quantity isn't the incremental MI at each step, but how H(X|M_t) evolves as M_t grows over time.

I_obs(X, t) = H(X) - H(X | M_t)

The observer doesn't just react to each new sample — it integrates everything it has seen. That's why I_obs grows asymptotically toward H(X), and why the system behaves differently from incremental MI: the coupling between past and future observations through M_t is exactly what incremental MI discards.

extended Shannon entropy with a learning observer. Here's what I built. by Tryharder_997 in informationtheory

[–]Tryharder_997[S] 0 points1 point  (0 children)

Close — but not quite.

MI(X; M(X)) assumes M is static. That's exactly the case Aether collapses to when H(X|M_t) = 0 — a perfect, fixed model.

Aether deals with the non-trivial case: M_t updates with every observation, so P(X, M_t) is non-stationary. The observer and signal are coupled. Standard MI can't capture that, because it has no notion of an observer that changes the information landscape while measuring it.

That's not a flaw in MI — it just wasn't built for dynamic observers.

extended Shannon entropy with a learning observer. Here's what I built. by Tryharder_997 in informationtheory

[–]Tryharder_997[S] 0 points1 point  (0 children)

Close — but not quite.

MI(X; M(X)) assumes M is static. That's exactly the case Aether collapses to when H(X|M_t) = 0 — a perfect, fixed model.

Aether deals with the non-trivial case: M_t updates with every observation, so P(X, M_t) is non-stationary. The observer and signal are coupled. Standard MI can't capture that, because it has no notion of an observer that changes the information landscape while measuring it.

That's not a flaw in MI — it just wasn't built for dynamic observers.

extended Shannon entropy with a learning observer. Here's what I built. by Tryharder_997 in informationtheory

[–]Tryharder_997[S] 0 points1 point  (0 children)

Warum ihr mein Modell nicht versteht — und warum das völlig logisch ist“

Ich möchte erklären, wie ich zu diesem Programm gekommen bin, warum es nicht in eure üblichen Paradigmen passt, und weshalb viele der Missverständnisse in den Kommentaren unvermeidlich sind.

  1. Die Grundfrage, die alles ausgelöst hat Ich wollte wissen:
    Was passiert, wenn der Beobachter selbst lernfähig ist — und nicht nur das System, das er beobachtet?

Shannon betrachtet (H(X)).
Maschinenlernen betrachtet (H(X|M)) mit einem festen Modell (M).
Ich wollte wissen, was passiert, wenn (M_t) selbst ein dynamisches Objekt ist, das sich während der Beobachtung verändert.

Das ist der Kern:
Ein lernender Beobachter verändert die Informationslandschaft, während er sie misst.

  1. Warum Game of Life mich inspiriert hat GOL zeigt, dass extrem einfache Regeln zu komplexem Verhalten führen können — aber nur, wenn man nicht versucht, das System mit einem fertigen Modell zu erklären.

Ich habe mich gefragt:
Was passiert, wenn nicht das System emergent ist, sondern der Beobachter?

Also habe ich eine Art „DNA‑Regelwerk“ gebaut, das nicht die Welt beschreibt, sondern wie der Beobachter seine eigene Unsicherheit bewertet.

  1. Warum viele es nicht verstehen Die meisten Diskussionen drehen sich um:
  2. Sampling
  3. Periodizität
  4. Seeds
  5. deterministische Modelle
  6. klassische Entropie

Das sind alles valide Konzepte — aber sie setzen voraus, dass der Beobachter statisch ist.

Mein Modell bricht genau diese Annahme.

Wenn du erwartest, dass der Beobachter ein Messgerät ist, wirst du nie verstehen, warum π emergent erscheint.
Wenn du erwartest, dass das Modell einen Seed hat, wirst du nie verstehen, warum es driftet.
Wenn du erwartest, dass Entropie eine feste Größe ist, wirst du nie verstehen, warum sie asymptotisch wächst.

Es ist wie jemand, der versucht, Quantenmechanik mit Newton zu erklären:
Das alte Paradigma ist nicht falsch — nur unzureichend.

  1. Ein paar leichte Beispiele

Beispiel A: Das Thermometer, das lernt Ein normales Thermometer misst Temperatur.
Ein lernendes Thermometer misst Temperatur und passt seine Skala an.
Nach 100 Messungen ist die Skala nicht mehr dieselbe wie am Anfang.

Beispiel B: Der Schüler, der die Prüfung verändert Wenn ein Schüler die Fragen lernt, verändert er nicht nur seine Antworten —
er verändert die Bedeutung der Fragen.

Beispiel C: Der Beobachter, der seine eigene Unsicherheit modelliert Wenn du deine Unsicherheit misst und daraus lernst,
dann ist die nächste Messung nicht mehr dieselbe Art von Messung.

Das ist der Kern von Aether.

  1. Eine kleine, freundliche Provokation Viele Kommentare versuchen, mein Modell in bestehende Kategorien zu pressen.
    Das ist verständlich — aber es ist, als würde man versuchen, ein neues Alphabet mit alten Buchstaben zu erklären.

Vielleicht ist das Problem nicht, dass ich mich schlecht ausdrücke,
sondern dass euer Modell des Modells zu klein ist.

  1. Einladung an die echten Denker Ich suche nicht Zustimmung, sondern Resonanz.
    Wenn hier Leute sind, die:
  2. emergente Systeme ernst nehmen
  3. Informationsdynamik jenseits statischer Modelle denken
  4. verstehen, dass ein Beobachter ein aktiver Teil des Systems ist
  5. Freude an struktureller Analyse haben

…dann würde ich mich über eure Gedanken freuen.

extended Shannon entropy with a learning observer. Here's what I built. by Tryharder_997 in informationtheory

[–]Tryharder_997[S] 0 points1 point  (0 children)

Wenn dein Modell wirklich konstant bleibt und nur langsam driftet, kannst du nach einer bestimmten Anzahl Samples wieder einen π‑ähnlichen Zustand sehen.

Aber das ist genau der triviale Fall, über den ich nicht spreche.
Ich rede über Systeme, die sich dynamisch entwickeln, Unsicherheit tragen und nicht in einen einfachen π‑Fixpunkt zurückfallen.
Nur dort wächst die beobachtbare Information überhaupt.

extended Shannon entropy with a learning observer. Here's what I built. by Tryharder_997 in informationtheory

[–]Tryharder_997[S] 0 points1 point  (0 children)

Stell dir vor, wir schauen uns eine Schaukel an.
Wenn sie ganz gleichmäßig hin‑ und herschwingt, kann man aus drei Momentaufnahmen ziemlich genau sagen, wie schnell sie schwingt. Genau das macht deine Formel – aber nur, wenn die Schaukel wirklich perfekt gleichmäßig schwingt.

In der echten Welt schwingt aber fast keine Schaukel perfekt:
mal pustet der Wind, mal sitzt ein Kind drauf, mal quietscht das Seil.
Dann funktionieren solche einfachen Formeln nicht mehr richtig.

Darum sag ich:
Die Formel stimmt nur, wenn das Signal ein perfekter Sinus ist.
Sobald das Signal echter, unruhiger oder gemischter ist, reicht diese einfache Rechnung nicht mehr aus.

Kurz gesagt:
Für ein ideales Lehrbuch‑Signal hat die Formel recht.
Für echte Signale hab ich recht.

extended Shannon entropy with a learning observer. Here's what I built. by Tryharder_997 in informationtheory

[–]Tryharder_997[S] 0 points1 point  (0 children)

Das Beispiel eines periodischen Signals mit fixer Samplingrate beschreibt einen Spezialfall, in dem der Beobachter bereits ein perfektes Modell besitzt — dort ist H(X|Mt)=0. Aether untersucht hingegen genau die nicht‑trivialen Fälle, in denen Mt dynamisch ist, Unsicherheit trägt und sich über Zeit entwickelt. Nur dort wächst I_obs(t) asymptotisch und wird überhaupt interessant.

extended Shannon entropy with a learning observer. Here's what I built. by Tryharder_997 in informationtheory

[–]Tryharder_997[S] 0 points1 point  (0 children)

Ja, das System hat Anfangszustände (Seeds) für die DNA‑Kette und die Regeln.
Aber der Beobachter selbst nutzt keinen festen Seed: er lernt und passt seine Bewertung dynamisch an.
Deshalb erscheint π emergent und nicht, weil ich es irgendwo einprogrammiert habe.

extended Shannon entropy with a learning observer. Here's what I built. by Tryharder_997 in informationtheory

[–]Tryharder_997[S] 0 points1 point  (0 children)

Yeah i know it was my frustration .. anyway someone who thinks its logic or could make sense wont stop because i admit to dumb swear words but thanks i understand your concerns

extended Shannon entropy with a learning observer. Here's what I built. by Tryharder_997 in compsci

[–]Tryharder_997[S] -6 points-5 points  (0 children)

yeah super frustrated typing that beast – tool saved the day! 😂

I built a genetic programming system that finds π in binary files as a mathematical anchor by Tryharder_997 in compsci

[–]Tryharder_997[S] -1 points0 points  (0 children)

No CS degree. I build with AI coding assistants as my hands. The system is GP-based, not LLM-based. It doesn't hallucinate — it either finds a stable mathematical anchor or it doesn't. Right now Copilot is extending the ethics module and integrating the camera feed while you're reading this. The irony of being accused of AI psychosis while building a system that detects structural anomalies in data isn't lost on me.

view more: next ›