<div dir="ltr"><div dir="ltr"><div><div class="gmail_default" style="font-size:large">Hey Jason – interesting question, but I am unsure how to respond. </div><div class="gmail_default" style="font-size:large"><br></div><div class="gmail_default" style="font-size:large">I do not view 'your issue' in 80/20 terms, but I instead see one central 'information theory' matter that must be addressed with many implications—where information theory is just incomplete. There have been many attempts at addressing this issue over the years, named by Shannon and Weaver in 1949 as a missing "real theory of meaning". The earliest attempt was perhaps Yehoshua Bar-Hillel and Rudolf Carnap's theory of semantic information in 1950(?) which was grossly inadequate, and then you have Pedro's more recent offering which I believe was cobbled together from FIS exchanges over recent years. And of course, there are others on FIS who make their own attempts, but none that I believe really 'hold water'.</div><div class="gmail_default" style="font-size:large"><br></div><div class="gmail_default" style="font-size:large">There is also my own view which was accepted for poster presentation at ETH Zürich and ICLR 2025 (<a href="https://urldefense.com/v3/__https://iclr.cc/virtual/2025/33131__;!!D9dNQwwGXtA!R0eaIy-Gky5Q4EQAslQl8PZeSPMEBeIAJXYoOj8RdpZomsAvhciNh5hrRrhxP3yCCRyUqGN99Gr0E9x9$">https://iclr.cc/virtual/2025/33131</a>), with an earlier draft accepted to NeurIPS 2024. If you click on the Abstract and Project Page links from the ICLR page, you can read the reviewer comments, the abstract, and download the paper—all of which suggests good progress, but with more work still needed.</div></div><div class="gmail_default" style="font-size:large"><br></div><div class="gmail_default" style="font-size:large">Marcus</div></div></div>