Why2025, Tage 0-2: Hackthehealth, KI und Kleinkram

So, schon wieder ein paar Tage rum, wir sind gut auf der WHY2025 angekommen und es ist alles wieder sehr schön. Hauptsache ist, das Wachschwein dampft, und ich ahne, dass wir zur Not noch ein wenig Nebelmaschinenliquid geliehen bekommen, nachdem unseres nicht mehr rechtzeitig ankam.

Aber ich fang direkt mal mit HacktheHealth an, weil ich grade von dort komme und die Eindrücke frisch sind. Vor vier Jahren gabs das Village bereits, und dieses mal hab ich mich auch tatsächlich mal ein wenig länger mit zwei Leuten dort unterhalten. TL:DR: Es ist alles irgendwie schwierig und ich bin ratlos.

Die Leute dort sind wohl von einer niederländischen unabhängigen Einrichtung, die von allen herangezogen werden kann, um Security in Gesundheitseinrichtungen zu verbessern. Das war in der Vergangenheit viel Pentesting und Basis-Security insbesondere in Kliniken und Krankenhäusern, Airgapping kritischer Bereiche etc. Seit einigen Jahren ist ein ziemlich kräftiger „to teh cloud!“-Trend zu beobachten, wo sie auch beraten, und selbstredend seit neuerem der analoge „to teh AI!“, beides mit den naheliegenden Fragen Who owns the data? who controls the data?, und Leuten, die auf ehrliche Antworten diesbezüglich nicht immer scharf sind.

Das Problem ist hier dasselbe wie in DE: der „Double Age Gap“ des Gesundheitssystems. Das heißt, dass Leute älter und häufiger krank werden, auf der anderen Seite angesichts geburtenschwacher Jahrgänge der Nachwuchs in der Branche ausbleibt und der wachsenden Klientel weniger Beschäftigte entgegenstehen.

Dadurch gibts ein großes Interesse dran, alles, was automatisierend, effizienzsteigernd, was auch immer zu sein verspricht, nach Möglichkeit direct to production zu bringen. Darunter natürlich Cloudlösungen, klassische On Premise-KI (lokal trainierte Diagnosehilfen/ML-Systeme), aber auch externes, llm-basiertes usw. Und naturgemäß ist das zu einem relevanten Anteil einerseits securitytechnisch fragwürdig und andererseits problematisch zu pflegen.

Konkret entsteht beispielsweise das Problem, dass Apps und LLM-Integrationen in aktueller Diagnosetech verbaut werden, die tatsächlich sauber nach MDR (der europäischen Medical Device Regulation) zugelassen und zertifiziert sind. Nur wird es erheblich kompliziert, wenns hier Updates gibt/Securitypatches nötig wären. Effekt:

-> die Klinik will patchen, denn die IT dort will nichts ungepatchtes im Netz hängen haben,
-> der Hersteller sagt „nee, nur wir dürfen patchen, weil das ist unser Zeug und das wurde über uns MDR-zertifiziert“.
-> Der Hersteller will aber gar nicht patchen, weil Patch -> Veränderung -> notwendige Neuzertifizierung nach MDR
-> Ergebnis: Ständige Interessenskonflikte, hässliche Workarounds (Systeme werden airgapped, weil niemand sie patchen kann oder will etc.)

Tatsächlich ist die Situation noch unklarer, weil beispielsweise „selbstlernende“ KI-Systeme, die auf der Basis von durchgeführten Analysen/Diagnostiken etc. kontinuierlich weitertrainiert, sprich kontinuierlich verändert werden und strenggenommen eigentlich auch kontinuierlich neuzertifiziert werden müssen, weil sie sich im Prinzip dauernd verändern.

In der Folge passiert halt viel Wildwuchs und scheiß drauf, weils eben auch nur wenige Player gibt, die sind alle so unterwegs, wegen der eigenen Interessen mahnt niemand den anderen ab, öffentliches Interesse ist auch eher nichtvorhanden bzw. auf unterkomplexem Niveau, ergo passiert gar nichts. Bzw., die Öffentlichkeit hälts genauso, denn es gebe inzwischen eine ganze Reihe von KI- bzw. LLM(!)-basierten „Diagnose“-Apps für den Endnutzer aka Patienten, die bei der Entscheidung „Soll ich zum Arzt?“ beraten sollen. Sobald da eine App „ja“ sagt, ist sie eigentlich wahlweise MDR-pflichtig oder illegal. Hat a) irgendwer ein Interesse dran, den Rauswurf aus dem Appstore durchzusetzen, hat b) wer eins daran, dass der Kram dortbleibt? Wer unter a) aufzeigt, legt sich mit b) an: Chancen? Risiken? Muss das? Choose your battles, ich seh da wenig kommen. Es ist alles irgendwie eigenartig und leicht beunruhigend-fnordig.

Passend dazu war einer meiner ersten Talks auch zum auch hier unvermeidlichen Thema KI. Ein paar Basics, die ich so noch nicht auf dem Schirm hatte – die Fortschritte grade im Bereich LLMs kamen vor allem über mehr Speicher und damit mehr Kontext beim Training zustande, nicht über die Trainingsdauer. Grundsätzliches „Warum funktioniert das? Man weiß es nicht.“ – die Kisten sind nichtdeterministisch und es gibt nichts, was man dagegen tun kann.

Einige Thesen wurden eher nebenbei reingebracht, und gerade diese trugen dann zu einem durchwachsenen Gesamtbild bei, über das ich noch eine Weile hirnen muss. Beispiel im Kontext Plagiatsmaschine, was bei KI als Problem gesehen wird, die These: „The Brain learns the same way as an AI, but we’re OK with it“ -> was wir beim Musik schaffen machen, sei dasselbe wie das, was die AI macht (was nehmen und daraus was neues bauen). Das ist bestenfalls gewagt, ich glaube, ein „falsch“ tuts auch.

„Security is an enterprise feature now.“ – im Kontext „wir nutzen eure Daten nicht zum trainieren, wenn ihr mehr zahlt“. Dem auf den Fersen: Referent liebt Vibecoding, weil er in der IT-Security arbeitet. Kann man alles so stehen lassen. Spannende Usecases: Erschließung von Legacycode beispielsweise bei alten COBOL-Applikationen, wenn die Rentner weggestorben sind. Spannende Parallele: Effekt der KI aufs Denken ist analog zum Outsourcing von nicht mehr gemerkten Telefonnummern oder diesem einen Dockercommand, das man googelt, wenn man es einmal im Jahr braucht.

Alles sehr ambivalent. Wahrscheinlich grade deswegen für mich interessant.

Ansonsten haben wir charmante Nachbarn aus Manhattan, die LED-Kunst bauen und alte Röhrenradios lieben. Die „Filesharing“-Seite im Wiki musste ich noch selber anlegen, aber es brauchte nicht mal allzu lange, bis sich an der Front auch wieder charmante Entwicklungen zeigten (still no Porn, though). Die Nerds sind fröhlich, sie werden auch immer besser im Partymachen, und ich gebe zu: eine Metallica-Tributeband hatte ich nicht auf meiner WHY-Bingokarte, aber hey, eine Metallica-Tributeband. Rockt die Hütte, könnte man sagen, und auf mehreren Ebenen richtig liegen.