WAHRHEIT ALS UNABDINGBARER ROHSTOFF EINER KULTUR DER ZUKUNFT

Journal: Philosophie Jetzt – Menschenbild
ISSN 2365-5062, 20.Nov. 2017
URL: cognitiveagent.org
Email: info@cognitiveagent.org
Autor: cagent
Email: cagent@cognitiveagent.org

ÜBERSICHT


I Zukunft als Politischer Zankapfel 1
II Wahrheit als Chance 2
III Wahrheit als Betriebssystem einer Kultur  2
III-A Überwindung des Augenblicks . . . .2
III-B Das ’Äußere’ als ’Inneres’ . . . . . .2
III-C Das ’Innere’ als ’Außen’ und als ’Innen’ 3
III-D Fähigkeit zur Wahrheit . . . . . . . . 3
III-E Bindeglied Sprache . . . . . . . . . . 4
IV Wahrheit durch Sprache? 4
V Wahrheit in Freiheit 5
VI Energie 5
VII Wahrheit durch Spiritualität 6
VIII Intelligente Maschinen 7
IX Der homo sapiens im Stress-Test 8
X ’Heilige’ Roboter 8
XI Singularität(en) 9
XII Vollendung der Wissenschaften 10
Quellen: 11

 

ZUSAMMENFASSUNG

Nachdem es in diesem Blog schon zahlreiche
Blogbeiträge zum Thema Wahrheit gab, geht es in diesem
Beitrag um die wichtige Ergänzung, wie Wahrheit mit einer
Kultur der Zukunft zusammenspielt. Hier wird aufgezeigt,
dass eine Kultur der Zukunft ohne Wahrheit unmöglich
ist. Wahrheit ist der entscheidende, absolut unabdingbare
Rohstoff für eine Kultur der Zukunft.

Für den vollständigen Text siehe das PDF-Dokument.

KONTEXT BLOG

Einen Überblick über alle Blogeinträge von Autor cagent nach Titeln findet sich HIER.

Einen Überblick über alle Themenbereiche des Blogs findet sich HIER.

Das aktuelle Publikationsinteresse des Blogs findet sich HIER

SEMIOTIK UND KÜNSTLICHE INTELLIGENZ. EIN VIELVERSPRECHENDES TEAM. Nachschrift eines Vortrags an der Universität Passau am 22.Okt.2015

KONTEXT

  1. Im Rahmen der interdisziplinären Ringvorlesung Grenzen (Wintersemester 2015/16) an der Universität Passau (organisiert von der Deutsche Gesellschaft für Semiotik (DGS) e.V. in Kooperation mit der Professur für Neuere deutsche Literaturwissenschaft und Mediensemiotik (Prof. Dr. Jan-Oliver Decker und Dr. Stefan Halft) hatte ich einen Vortrag angenommen mit dem Titel Semiotik und künstliche Intelligenz. Ein vielversprechendes Team. Wie immer halte ich Vorträge immer zu Fragen, die ich bis dahin noch nicht ausgearbeitet hatte und nutze diese Herausforderung, es dann endlich mal zu tun.
  2. Die Atmosphäre beim Vortrag war sehr gut und die anschließenden Gespräche brachte viele interessanten Aspekte zutage, was wir im Rahmen der DGS noch tun sollten/ könnten, um das Thema weiter zu vertiefen.

MOTIV – WARUM DIESES THEMA

  1. Angesichts der vielfältigen Geschichte der Semiotik könnte man natürlich ganze Abende nur mit Geschichten über die Semiotik füllen. Desgleichen im Fall der künstlichen Intelligenz [KI]. Der Auslöser für das Thema war dann auch der spezielle Umstand, dass im Bereich der KI seit etwa den 80iger Jahren des 20.Jahrhunderts in einigen Forschungsprojekten das Thema Semiotik ganz neu auftaucht, und nicht als Randthema sondern verantwortlich für die zentralen Begriffe dieser Forschungen. Gemeint sind die berühmten Roboterexperimente von Luc Steels (ähnlich auch aufgegriffen von anderen, z.B. Paul Vogt) (siehe Quellen unten).
  2. Unter dem Eindruck großer Probleme in der klassischen KI, die aus einem mangelnden direkten Weltbezug resultierten (das sogenannte grounding Problem) versuchte Steels, Probleme des Zeichen- und Sprachlernens mit Hilfe von Robotern zu lösen, die mit ihren Sensoren direkten Kontakt zur empirischen Welt haben und die mit ihren Aktoren auch direkt auf die Welt zurück wirken können. Ihre internen Verarbeitungsprozesse können auf diese Weise abhängig gemacht werden (eine Form von grounding) von der realen Welt (man spricht hier auch von embodied intelligence).
  3. Obwohl Steels (wie auch Vogt) auf ungewöhnliche Weise grundlegende Begriffe der Semiotik einführen, wird dieser semiotische Ansatz aber nicht weiter reflektiert. Auch findet nicht wirklich eine Diskussion des Gesamtansatzes statt, der aus dieser Kombination von Semiotik und Robotik/ KI entsteht bzw. entstehen könnte. Dies ist schade. Der Vortrag Semiotik und künstliche Intelligenz. Ein vielversprechendes Team stellt einen Versuch dar, heraus zu arbeiten, warum die Kombination Semiotik und KI nicht nur Sinn macht, sondern eigentlich das Zeug hätte, zu einem zentralen Forschungsparadigma für die Zukunft zu werden. Tatsächlich liegt dem Emerging Mind Projekt, das hier im Blog schon öfters erwähnt wurde und am 10.November 2015 offiziell eröffnet werden wird, genau dieses Semiotik-KI-Paradigma zugrunde.

WELCHE SEMIOTIK?

  1. Wer Wörterbücher zur Semiotik aufschlägt (z.B. das von Noeth 2000), wird schnell bemerken, dass es eine große Vielfalt von Semiotikern, semiotischen Blickweisen, Methoden und Theorieansätze gibt, aber eben nicht die eine große Theorie. Dies muss nicht unbedingt negativ sein, zumal dann nicht, wenn wir ein reiches Phänomen vor uns haben, das sich eben einer einfachen Theoriebildung widersetzt. Für die Praxis allerdings, wenn man Semiotik in einer realen Theoriebildung einsetzen möchte, benötigt man verbindliche Anknüpfungspunkte, auf die man sich bezieht. Wie kann man solch eine Entscheidung motivieren?
  2. Aus der Sicht der Wissenschaftsphilosophie biete es sich an, die unterschiedlichen Zugangsweisen zur Erfahrung und und Beschreibung von Wirklichkeit als quasi Koordinatensystem zu wählen, diesem einige der bekanntesten semiotischen Ansätze zu zuordnen und dann zu schaue, welche dieser semiotischen Positionen der Aufgabenstellung am nächsten kommen. Von einer Gesamttheorie her betrachtet sind natürlich alle Ansätze wichtig. Eine Auswahl bzw. Gewichtung kann nur pragmatische Gründe haben.

ZUGÄNGE ZUR WIRKLICHKEIT

  1. Grundsätzlich gibt es aus heutiger Sicht zwei Zugangsweisen: über den intersubjektiven (empirischen) Bereich und über das subjektive Erleben.
  2. Innerhalb des empirischen Bereichs gab es lange Zeit nur den Bereich des beobachtbaren Verhaltens [SR] (in der Psychologie) ohne die inneren Zustände des Systems; seit ca. 50-60 Jahren eröffnen die Neurowissenschaften auch einen Zugriff auf die Vorgänge im Gehirn. Will man beide Datenbereiche korrelieren, dann gerät man in das Gebiet der Neuropsychologie [NNSR].
  3. Der Zugang zur Wirklichkeit über den subjektiven Bereich – innerhalb der Philosophie auch als phänomenologischer Zugang bekannt – hat den Vorteil einer Direktheit und Unmittelbarkeit und eines großen Reichtums an Phänomenen.
  4. Was den meisten Menschen nicht bewusst ist, ist die Tatsache, dass die empirischen Phänomene nicht wirklich außerhalb des Bewusstseins liegen. Die Gegenstände in der Zwischenkörperzone (der empirische Bereich) sind als Gegenstände zwar (was wir alle unterstellen) außerhalb des Bewusstseins, aber die Phänomene, die sie im Bewusstsein erzeugen, sind nicht außerhalb, sondern im Bewusstsein. Das, was die empirischen Phänomene [PH_em] von den Phänomenen, unterscheidet, die nicht empirisch [PH_nem] sind, ist die Eigenschaft, dass sie mit etwas in der Zwischenkörperwelt korrespondieren, was auch von anderen Menschen wahrgenommen werden kann. Dadurch lässt sich im Falle von empirischen Phänomenen relativ leicht Einigkeit zwischen verschiedenen Kommunikationsteilnehmern über die jeweils korrespondierenden Gegenstände/ Ereignisse erzielen.
  5. Bei nicht-empirischen Phänomenen ist unklar, ob und wie man eine Einigkeit erzielen kann, da man nicht in den Kopf der anderen Person hineinschauen kann und von daher nie genau weiß, was die andere Person meint, wenn sie etwas Bestimmtes sagt.
  6. Die Beziehung zwischen Phänomenen des Bewusstseins [PH] und Eigenschaften des Gehirns – hier global als NN abgekürzt – ist von anderer Art. Nach heutigem Wissensstand müssen wir davon ausgehen, dass alle Phänomene des Bewusstseins mit Eigenschaften des Gehirns korrelieren. Aus dieser Sicht wirkt das Bewusstsein wie eine Schnittstelle zum Gehirn. Eine Untersuchung der Beziehungen zwischen Tatsachen des Bewusstseins [PH] und Eigenschaften des Gehirns [NN] würde in eine Disziplin fallen, die es so noch nicht wirklich gibt, die Neurophänomenologie [NNPH] (analog zur Neuropsychologie).
  7. Der Stärke des Bewusstseins in Sachen Direktheit korrespondiert eine deutliche Schwäche: im Bewusstsein hat man zwar Phänomene, aber man hat keinen Zugang zu ihrer Entstehung! Wenn man ein Objekt sieht, das wie eine Flasche aussieht, und man die deutsche Sprache gelernt hat, dann wird man sich erinnern, dass es dafür das Wort Flasche gibt. Man konstatiert, dass man sich an dieses Wort in diesem Kontext erinnert, man kann aber in diesem Augenblick weder verstehen, wie es zu dieser Erinnerung kommt, noch weiß man vorher, ob man sich erinnern wird. Man könnte in einem Bild sagen: das Bewusstsein verhält sich hier wie eine Kinoleinwand, es konstatiert, wenn etwas auf der Leinwand ist, aber es weiß vorher nicht, ob etwas auf die Leinwand kommen wird, wie es kommt, und nicht was kommen wird. So gesehen umfasst das Bewusstsein nur einen verschwindend kleinen Teil dessen, was wir potentiell wissen (können).

AUSGEWÄHLTE SEMIOTIKER

  1. Nach diesem kurzen Ausflug in die Wissenschaftsphilosophie und bevor hier einzelne Semiotiker herausgegriffen werden, sei eine minimale Charakterisierung dessen gegeben, was ein Zeichen sein soll. Minimal deshalb, weil alle semiotischen Richtungen, diese minimalen Elemente, diese Grundstruktur eines Zeichens, gemeinsam haben.
  2. Diese Grundstruktur enthält drei Komponenten: (i) etwas, was als Zeichenmaterial [ZM] dienen kann, (ii) etwas, das als Nichtzeichenmaterial [NZM] fungieren kann, und (iii) etwas, das eine Beziehung/ Relation/ Abbildung Z zwischen Zeichen- und Nicht-Zeichen-Material in der Art repräsentiert, dass die Abbildung Z dem Zeichenmaterial ZM nicht-Zeichen-Material NZM zuordnet. Je nachdem, in welchen Kontext man diese Grundstruktur eines Zeichens einbettet, bekommen die einzelnen Elemente eine unterschiedliche Bedeutung.
  3. Dies soll am Beispiel von drei Semiotikern illustriert werden, die mit dem zuvor charakterisierten Zugängen zur Wirklichkeit korrespondieren: Charles William Morris (1901 – 1979), Ferdinand de Saussure (1857-1913) und Charles Santiago Sanders Peirce (1839 – 1914) .
  4. Morris, der jüngste von den Dreien, ist im Bereich eines empirischen Verhaltensansatzes zu positionieren, der dem verhaltensorientierten Ansatz der modernen empirischen Psychologie nahe kommt. In diesem verhaltensbasierten Ansatz kann man die Zeichengrundstruktur so interpretieren, dass dem Zeichenmaterial ZM etwas in der empirischen Zwischenwelt korrespondiert (z.B. ein Laut), dem Nicht-Zeichen-Material NZM etwas anderes in der empirischen Außenwelt (ein Objekt, ein Ereignis, …), und die Zeichenbeziehung Z kommt nicht in der empirischen Welt direkt vor, sondern ist im Zeichenbenutzer zu verorten. Wie diese Zeichenbeziehung Z im Benutzer tatsächlich realisiert ist, war zu seiner Zeit empirische noch nicht zugänglich und spielt für den Zeichenbegriff auch weiter keine Rolle. Auf der Basis von empirischen Verhaltensdaten kann die Psychologie beliebige Modellannahmen über die inneren Zustände des handelnden Systems machen. Sie müssen nur die Anforderung erfüllen, mit den empirischen Verhaltensdaten kompatibel zu sein. Ein halbes Jahrhundert nach Morris kann man anfangen, die psychologischen Modellannahmen über die Systemzustände mit neurowissenschaftlichen Daten abzugleichen, sozusagen in einem integrierten interdisziplinären neuropsychologischen Theorieansatz.
  5. Saussure, der zweit Jüngste von den Dreien hat als Sprachwissenschaftler mit den Sprachen primär ein empirisches Objekt, er spricht aber in seinen allgemeinen Überlegungen über das Zeichen in einer bewusstseinsorientierten Weise. Beim Zeichenmaterial ZM spricht er z.B. von einem Lautbild als einem Phänomen des Bewusstseins, entsprechend von dem Nicht-Zeichenmaterial auch von einer Vorstellung im Bewusstsein. Bezüglich der Zeichenbeziehung M stellt er fest, dass diese außerhalb des Bewusstseins liegt; sie wird vom Gehirn bereit gestellt. Aus Sicht des Bewusstseins tritt diese Beziehung nur indirekt in Erscheinung.
  6. Peirce, der älteste von den Dreien, ist noch ganz in der introspektiven, phänomenologischen Sicht verankert. Er verortet alle drei Komponenten der Zeichen-Grundstruktur im Bewusstsein. So genial und anregend seine Schriften im einzelnen sind, so führt diese Zugangsweise über das Bewusstsein zu großen Problemen in der Interpretation seiner Schriften (was sich in der großen Bandbreite der Interpretationen ausdrückt wie auch in den nicht selten geradezu widersprüchlichen Positionen).
  7. Für das weitere Vorgehen wird in diesem Vortrag der empirische Standpunkt (Verhalten + Gehirn) gewählt und dieser wird mit der Position der künstlichen Intelligenz ins Gespräch gebracht. Damit wird der direkte Zugang über das Bewusstsein nicht vollständig ausgeschlossen, sondern nur zurück gestellt. In einer vollständigen Theorie müsste man auch die nicht-empirischen Bewusstseinsdaten integrieren.

SPRACHSPIEL

  1. Ergänzend zu dem bisher Gesagten müssen jetzt noch drei weitere Begriffe eingeführt werden, um alle Zutaten für das neue Paradigma Semiotik & KI zur Verfügung zu haben. Dies sind die Begriffe Sprachspiel, Intelligenz sowie Lernen.
  2. Der Begriff Sprachspiel wird auch von Luc Steels bei seinen Roboterexperimenten benutzt. Über den Begriff des Zeichens hinaus erlaubt der Begriff des Sprachspiels den dynamischen Kontext des Zeichengebrauchs besser zu erfassen.
  3. Steels verweist als Quelle für den Begriff des Sprachspiels auf Ludwig Josef Johann Wittgenstein (1889-1951), der in seiner Frühphase zunächst die Ideen der modernen formalen Logik und Mathematik aufgriff und mit seinem tractatus logico philosophicus das Ideal einer am logischen Paradigma orientierten Sprache skizzierte. Viele Jahre später begann er neu über die normale Sprache nachzudenken und wurde sich selbst zum schärfsten Kritiker. In jahrelangen Analysen von alltäglichen Sprachsituationen entwickelte er ein facettenreiches Bild der Alltagssprache als ein Spiel, in dem Teilnehmer nach Regeln Zeichenmaterial ZM und Nicht-Zeichen-Material NZM miteinander verknüpfen. Dabei spielt die jeweilige Situation als Kontext eine Rolle. Dies bedeutet, das gleiche Zeichenmaterial kann je nach Kontext unterschiedlich wirken. Auf jeden Fall bietet das Konzept des Sprachspiels die Möglichkeit, den ansonsten statischen Zeichenbegriff in einen Prozess einzubetten.
  4. Aber auch im Fall des Sprachspielkonzepts benutzt Steels zwar den Begriff Sprachspiel, reflektiert ihn aber nicht soweit, dass daraus ein explizites übergreifendes theoretisches Paradigma sichtbar wird.
  5. Für die Vision eines neuen Forschungsparadigmas Semiotik & KI soll also in der ersten Phase die Grundstruktur des Zeichenbegriffs im Kontext der empirischen Wissenschaften mit dem Sprachspielkonzept von Wittgenstein (1953) verknüpft werden.

INTELLIGENZ

  1. Im Vorfeld eines Workshops der Intelligent Systems Division des NIST 2000 gab es eine lange Diskussion zwischen vielen Beteiligten, wie man denn die Intelligenz von Maschinen messen sollte. In meiner Wahrnehmung verhedderte sich die Diskussion darin, dass damals nach immer neuen Klassifikationen und Typologien für die Architektur der technischen Systeme gesucht wurde, anstatt das zu tun, was die Psychologie schon seit fast 100 Jahren getan hatte, nämlich auf das Verhalten und dessen Eigenschaften zu schauen. Ich habe mich in den folgenden Jahren immer wieder mit der Frage des geeigneten Standpunkts auseinandergesetzt. In einem Konferenzbeitrag von 2010 (zusammen mit anderen, insbesondere mit Louwrence Erasmus) habe ich dann dafür argumentiert, das Problem durch Übernahme des Ansatzes der Psychologie zu lösen.
  2. Die Psychologie hatte mit Binet (1905), Stern (1912 sowie Wechsler (1939) eine grundsätzliche Methode gefunden hatte, die Intelligenz, die man nicht sehen konnte, indirekt durch Rückgriff auf Eigenschaften des beobachtbaren Verhaltens zu messen (bekannt duch den Begriff des Intelligenz-Quotienten, IQ). Die Grundidee bestand darin, dass zu einer bestimmten Zeit in einer bestimmten Kultur bestimmte Eigenschaften als charakteristisch für ein Verhalten angesehen werden, das man allgemein als intelligent bezeichnen würde. Dies impliziert zwar grundsätzlich eine gewisse Relativierung des Begriffs Intelligenz (was eine Öffnung dahingehend impliziert, dass zu anderen Zeiten unter anderen Umständen noch ganz neue Eigenschaftskomplexe bedeutsam werden können!), aber macht Intelligenz grundsätzlich katalogisierbar und damit messbar.
  3. Ein Nebeneffekt der Bezugnahme auf Verhaltenseigenschaften findet sich in der damit möglichen Nivellierung der zu messenden potentiellen Strukturen in jenen Systemen, denen wir Intelligenz zusprechen wollen. D.h. aus Sicht der Intelligenzmessung ist es egal ob das zu messende System eine Pflanze, ein Tier, ein Mensch oder eine Maschine ist. Damit wird – zumindest im Rahmen des vorausgesetzten Intelligenzbegriffs – entscheidbar, ob und in welchem Ausmaß eine Maschine möglicherweise intelligent ist.
  4. Damit eignet sich dieses Vorgehen auch, um mögliche Vergleiche zwischen menschlichem und maschinellem Verhalten in diesem Bereich zu ermöglichen. Für das Projekt des Semiotk & KI-Paradigmas ist dies sehr hilfreich.

LERNEN

  1. An dieser Stelle ist es wichtig, deutlich zu machen, dass Intelligenz nicht notwendigerweise ein Lernen impliziert und Lernen nicht notwendigerweise eine Intelligenz! Eine Maschine (z.B. ein schachspielender Computer) kann sehr viele Eigenschaften eines intelligenten Schachspielers zeigen (bis dahin, dass der Computer Großmeister oder gar Weltmeister besiegen kann), aber sie muss deswegen nicht notwendigerweise auch lernfähig sein. Dies ist möglich, wenn erfahrene Experten hinreichend viel Wissen in Form eines geeigneten Programms in den Computer eingeschrieben haben, so dass die Maschine aufgrund dieses Programms auf alle Anforderungen sehr gut reagieren kann. Von sich aus könnte der Computer dann nicht dazu lernen.
  2. Bei Tieren und Menschen (und Pflanzen?) gehen wir von einer grundlegenden Lernfähigkeit aus. Bezogen auf das beobachtbare Verhalten können wir die Fähigkeit zu Lernen dadurch charakterisieren, dass ein System bis zu einem Zeitpunkt t bei einem bestimmten Reiz s nicht mit einem Verhalten r antwortet, nach dem Zeitpunkt t aber dann plötzlich doch, und dieses neue Verhalten über längere Zeit beibehält. Zeigt ein System eine solche Verhaltensdynamik, dann darf man unterstellen, dass das System in der Lage ist, seine inneren Zustände IS auf geeignete Weise zu verändern (geschrieben: phi: I x IS —> IS x O (mit der Bedeutung I := Input (Reize, Stimulus s), O := Output (Verhaltensantworten, Reaktion r), IS := interne Zustände, phi := Name für die beobachtbare Dynamik).
  3. Verfügt ein System über solch eine grundlegende Lernfähigkeit (die eine unterschiedlich reiche Ausprägung haben kann), dann kann es sich im Prinzip alle möglichen Verhaltenseigenschaften aneignen/ erwerben/ erlernen und damit im oben beschriebenen Sinne intelligent werden. Allerdings gibt es keine Garantie, dass eine Lernfähigkeit notwendigerweise zu einer bestimmten Intelligenz führen muss. Viele Menschen, die die grundsätzliche Fähigkeit besitzen, Schachspielen oder Musizieren oder Sprachen zu lernen,  nutzen diese ihre Fähigkeiten niemals aus; sie verzichten damit auf Formen intelligenten Verhaltens, die ihnen aber grundsätzlich offen stehen.
  4. Wir fordern also, dass die Lernfähigkeit Teil des Semiotik & KI-Paradigmas sein soll.

LERNENDE MASCHINEN

  1. Während die meisten Menschen heute Computern ein gewisses intelligentes Verhalten nicht absprechen würden, sind sie sich mit der grundlegenden Lernfähigkeit unsicher. Sind Computer im echten Sinne (so wie junge Tiere oder menschliche Kinder) lernfähig?
  2. Um diese Frage grundsätzlich beantworten zu können, müsste man ein allgemeines Konzept von einem Computer haben, eines, das alle heute und in der Zukunft existierende und möglicherweise in Existenz kommende Computer in den charakteristischen Eigenschaften erschöpfend beschreibt. Dies führt zur Vor-Frage nach dem allgemeinsten Kriterium für Computer.
  3. Historisch führt die Frage eigentlich direkt zu einer Arbeit von Turing (1936/7), in der er den Unentscheidbarkeitsbeweis von Kurt Gödel (1931) mit anderen Mitteln nochmals nachvollzogen hatte. Dazu muss man wissen, dass es für einen formal-logischen Beweis wichtig ist, dass die beim Beweis zur Anwendung kommenden Mittel, vollständig transparent sein müssen, sie müssen konstruktiv sein, was bedeutet, sie müssen endlich sein oder effektiv berechenbar. Zum Ende des 19.Jh und am Anfang des 20.Jh gab es zu dieser Fragestellung eine intensive Diskussion.
  4. Turing wählte im Kontrast zu Gödel keine Elemente der Zahlentheorie für seinen Beweis, sondern nahm sich das Verhalten eines Büroangestellten zum Vorbild: jemand schreibt mit einem Stift einzelne Zeichen auf ein Blatt Papier. Diese kann man einzeln lesen oder überschreiben. Diese Vorgabe übersetze er in die Beschreibung einer möglichst einfachen Maschine, die ihm zu Ehren später Turingmaschine genannt wurde (für eine Beschreibung der Elemente einer Turingmaschine siehe HIER). Eine solche Turingmaschine lässt sich dann zu einer universellen Turingmaschine [UTM] erweitern, indem man das Programm einer anderen (sekundären) Turingmaschine auf das Band einer primären Turingmaschine schreibt. Die primäre Turingmaschine kann dann nicht nur das Programm der sekundären Maschine ausführen, sondern kann es auch beliebig abändern.
  5. In diesem Zusammenhang interessant ist, dass der intuitive Begriff der Berechenbarkeit Anfang der 30ige Jahre des 20.Jh gleich dreimal unabhängig voneinander formal präzisiert worden ist (1933 Gödel und Herbrand definierten die allgemein rekursiven Funktionen; 1936 Church den Lambda-Kalkül; 1936 Turing die a-Maschine für ‚automatische Maschine‘, später Turing-Maschine). Alle drei Formalisierungen konnten formal als äquivalent bewiesen werden. Dies führte zur sogenannten Church-Turing These, dass alles, was effektiv berechnet werden kann, mit einem dieser drei Formalismen (also auch mit der Turingmaschine) berechnet werden kann. Andererseits lässt sich diese Church-Turing These selbst nicht beweisen. Nach nunmehr fast 80 Jahren nimmt aber jeder Experte im Feld an, dass die Church-Turing These stimmt, da bis heute keine Gegenbeispiele gefunden werden konnten.
  6. Mit diesem Wissen um ein allgemeines formales Konzept von Computern kann man die Frage nach der generellen Lernfähigkeit von Computern dahingehend beantworten, dass Computer, die Turing-maschinen-kompatibel sind, ihre inneren Zustände (im Falle einer universellen Turingmaschine) beliebig abändern können und damit die Grundforderung nach Lernfähigkeit erfüllen.

LERNFÄHIGE UND INTELLIGENTE MASCHINEN?

  1. Die Preisfrage stellt sich, wie eine universelle Turingmaschine, die grundsätzlich lernfähig ist, herausfinden kann, welche der möglichen Zustände interessant genug sind, um damit zu einem intelligenten Verhalten zu kommen?
  2. Diese Frage nach der möglichen Intelligenz führt zur Frage der verfügbaren Kriterien für Intelligenz: woher soll eine lernfähige Maschine wissen, was sie lernen soll?
  3. Im Fall biologischer Systeme wissen wir mittlerweile, dass die lernfähigen Strukturen als solche dumm sind, dass aber durch die schiere Menge an Zufallsexperimenten ein Teil dieser Experimente zu Strukturen geführt hat, die bzgl. bestimmter Erfolgskriterien besser waren als andere. Durch die Fähigkeit, die jeweils erfolgreichen Strukturen in Form von Informationseinheiten zu speichern, die dann bei der nächsten Reproduktion erinnert werden konnten, konnten sich die relativen Erfolge behaupten.
  4. Turing-kompatible Computer können speichern und kodieren, sie brauchen allerdings noch Erfolgskriterien, um zu einem zielgerichtete Lernen zu kommen.

LERNENDE SEMIOTISCHE MASCHINEN

  1. Mit all diesen Zutaten kann man jetzt lernende semiotische Maschinen konstruieren, d.h. Maschinen, die in der Lage sind, den Gebrauch von Zeichen im Kontext eines Prozesses, zu erlernen. Das dazu notwendige Verhalten gilt als ein Beispiel für intelligentes Verhaltens.
  2. Es ist hier nicht der Ort, jetzt die Details solcher Sprach-Lern-Spiele auszubreiten. Es sei nur soviel gesagt, dass man – abschwächend zum Paradigma von Steels – hier voraussetzt, dass es schon mindestens eine Sprache L und einen kundigen Sprachteilnehmer gibt (der Lehrer), von dem andere Systeme (die Schüler), die diese Sprache L noch nicht kennen, die Sprache L lernen können. Diese Schüler können dann begrenzt neue Lehrer werden.
  3. Zum Erlernen (Training) einer Sprache L benötigt man einen definierten Kontext (eine Welt), in dem Lehrer und Schüler auftreten und durch Interaktionen ihr Wissen teilen.
  4. In einer Evaluationsphase (Testphase), kann dann jeweils überprüft werden, ob die Schüler etwas gelernt haben, und wieviel.
  5. Den Lernerfolge einer ganzen Serie von Lernexperimenten (ein Experiment besteht aus einem Training – Test Paar) kann man dann in Form einer Lernkurve darstellen. Diese zeigt entlang der Zeitachse, ob die Intelligenzleistung sich verändert hat, und wie.
  6. Gestaltet man die Lernwelt als eine interaktive Softwarewelt, bei der Computerprogramme genauso wie Roboter oder Menschen mitwirken können, dann kann man sowohl Menschen als Lehrer benutzen wie auch Menschen im Wettbewerb mit intelligenten Maschinen antreten lassen oder intelligente Maschinen als Lehrer oder man kann auch hybride Teams formen.
  7. Die Erfahrungen zeigen, dass die Konstruktion von intelligenten Maschinen, die menschenähnliche Verhaltensweisen lernen sollen, die konstruierenden Menschen dazu anregen, ihr eigenes Verhalten sehr gründlich zu reflektieren, nicht nur technisch, sondern sogar philosophisch.

EMERGING MIND PROJEKT

  1. Die zuvor geschilderten Überlegungen haben dazu geführt, dass ab 10.November 2015 im INM Frankfurt ein öffentliches Forschungsprojekt gestartet werden soll, das Emerging Mind Projekt heißt, und das zum Ziel hat, eine solche Umgebung für lernende semiotische Maschinen bereit zu stellen, mit der man solche semiotischen Prozesse zwischen Menschen und lernfähigen intelligenten Maschinen erforschen kann.

QUELLEN

  • Binet, A., Les idees modernes sur les enfants, 1909
  • Doeben-Henisch, G.; Bauer-Wersing, U.; Erasmus, L.; Schrader,U.; Wagner, W. [2008] Interdisciplinary Engineering of Intelligent Systems. Some Methodological Issues. Conference Proceedings of the workshop Modelling Adaptive And Cognitive Systems (ADAPCOG 2008) as part of the Joint Conferences of SBIA’2008 (the 19th Brazilian Symposium on Articial Intelligence); SBRN’2008 (the 10th Brazilian Symposium on Neural Networks); and JRI’2008 (the Intelligent Robotic Journey) at Salvador (Brazil) Oct-26 – Oct-30(PDF HIER)
  • Gödel, K. Über formal unentscheidbare Sätze der Principia Mathematica und verwandter Systeme I, In: Monatshefte Math.Phys., vol.38(1931),pp:175-198
  • Charles W. Morris, Foundations of the Theory of Signs (1938)
  • Charles W. Morris (1946). Signs, Language and Behavior. New York: Prentice-Hall, 1946. Reprinted, New York: George Braziller, 1955. Reprinted in Charles Morris, Writings on the General Theory of Signs (The Hague: Mouton, 1971), pp. 73-397. /* Charles William Morris (1901-1979) */
  • Charles W. Morris, Signication and Signicance (1964)
  • NIST: Intelligent Systems Division: http://www.nist.gov/el/isd/
  • Winfried Noth: Handbuch der Semiotik. 2., vollständig neu bearbeitete Auflage. Metzler, Stuttgart/Weimar 2000
  • Charles Santiago Sanders Peirce (1839-1914) war ein US-amerikanischer Mathematiker, Philosoph und Logiker. Peirce gehort neben William James und John Dewey zu den maßgeblichen Denkern des Pragmatismus; außerdem gilt er als Begründer der modernen Semiotik. Zur ersten Einführung siehe: https://de.wikipedia.org/wiki/Charles Sanders Peirce Collected Papers of Charles Sanders Peirce. Bände I-VI hrsg. von Charles Hartshorne und Paul Weiss, 1931{1935; Bände VII-VIII hrsg. von Arthur W. Burks 1958. University Press, Harvard, Cambridge/Mass. 1931{1958
  • Writings of Charles S. Peirce. A Chronological Edition. Hrsg. vom Peirce Edition Project. Indiana University Press,Indianapolis, Bloomington 1982. (Bisher Bände 1{6 und 8, geplant 30 Bände)
  • Saussure, F. de. Grundfragen der Allgemeinen Sprachwissenschaft, 2nd ed., German translation of the original posthumously publication of the Cours de linguistic general from 1916 by H.Lommel, Berlin: Walter de Gruyter & Co., 1967
  • Saussure, F. de. Course in General Linguistics, English translation of the original posthumously publication of the Cours de linguistic general from 1916, London: Fontana, 1974
  • Saussure, F. de. Cours de linguistique general, Edition Critique Par Rudolf Engler, Tome 1,Wiesbaden: Otto Harrassowitz, 1989 /*This is the critical edition of the dierent sources around the original posthumously publication of the Cours de linguistic general from 1916. */
  • Steels, Luc (1995): A Self-Organizing Spatial Vocabulary. Articial Life, 2(3), S. 319-332
  • Steels, Luc (1997): Synthesising the origins of language and meaning using co-evolution, self-organisation and level formation. In: Hurford, J., C.Knight und M.Studdert-Kennedy (Hrsg.). Edinburgh: Edinburgh Univ. Press.

  • Steels, Luc (2001): Language Games for Autonomous Robots. IEEE Intelligent Systems, 16(5), S. 16-22. Steels, Luc (2003):

  • Evolving grounded Communication for Robots. Trends in Cognitive Science, 7(7), S. 308-312.

  • Steels, Luc (2003): Intelligence with Representation. Philosophical Transactions of the Royal Society A, 1811(361), S. 2381-2395.

  • Steels, Luc (2008): The symbol grounding problem has been solved, so what’s next?. In M. de Vega, Symbols and Embodiment: Debates on Meaning and Cognition. Oxford: Oxford University Press, S. 223-244.
  • Steels, Luc (2012): Grounding Language through Evolutionary Language Games. In: Language Grounding in Robots. Springer US, S. 1-22.

  • Steels, Luc (2015), The Talking Heads experiment: Origins of words and meanings, Series: Computational Models of Language Evolution 1. Berlin: Language Science Press.
  • Stern, W., Die psychologischen Methoden der Intelligenzprüfung und deren Anwendung an Schulkindern, Leipzig: Barth, 1912

  • Turing, A. M. On Computable Numbers with an Application to the Entscheidungsproblem. In: Proc. London Math. Soc., Ser.2, vol.42(1936), pp.230-265; received May 25, 1936; Appendix added August 28; read November 12, 1936; corr. Ibid. vol.43(1937), pp.544-546. Turing’s paper appeared in Part 2 of vol.42 which was issued in December 1936 (Reprint in M.DAVIS 1965, pp.116-151; corr. ibid. pp.151-154).(an online version at: http://www.comlab.ox.ac.uk/activities/ieg/elibrary/sources/tp2-ie.pdf, last accesss Sept-30, 2012)

  • Turing, A.M. Computing machinery and intelligence. Mind, 59, 433-460. 1950

  • Turing, A.M.; Intelligence Service. Schriften, ed. by Dotzler, B.; Kittler, F.; Berlin: Brinkmann & Bose, 1987, ISBN 3-922660-2-3

  • Vogt, P. The physical symbol grounding problem, in: Cognitive Systems Research, 3(2002)429-457, Elsevier Science B.V.
  • Vogt, P.; Coumans, H. Investigating social interaction strategies for bootstrapping lexicon development, Journal of Articial Societies and Social Simulation 6(1), 2003

  • Wechsler, D., The Measurement of Adult Intelligence, Baltimore, 1939, (3. Auage 1944)

  • Wittgenstein, L.; Tractatus Logico-Philosophicus, 1921/1922 /* Während des Ersten Weltkriegs geschrieben, wurde das Werk 1918 vollendet. Es erschien mit Unterstützung von Bertrand Russell zunächst 1921 in Wilhelm Ostwalds Annalen der Naturphilosophie. Diese von Wittgenstein nicht gegengelesene Fassung enthielt grobe Fehler. Eine korrigierte, zweisprachige Ausgabe (deutsch/englisch) erschien 1922 bei Kegan Paul, Trench, Trubner und Co. in London und gilt als die offizielle Fassung. Die englische Übersetzung stammte von C. K. Ogden und Frank Ramsey. Siehe einführend Wikipedia-DE: https://de.wikipedia.org/wiki/Tractatus logicophilosophicus*/

  • Wittgenstein, L.; Philosophische Untersuchungen,1936-1946, publiziert 1953 /* Die Philosophischen Untersuchungen sind Ludwig Wittgensteins spätes, zweites Hauptwerk. Es übten einen außerordentlichen Einfluss auf die Philosophie der 2. Hälfte des 20. Jahrhunderts aus; zu erwähnen ist die Sprechakttheorie von Austin und Searle sowie der Erlanger Konstruktivismus (Paul Lorenzen, Kuno Lorenz). Das Buch richtet sich gegen das Ideal einer logik-orientierten Sprache, die neben Russell und Carnap Wittgenstein selbst in seinem ersten Hauptwerk vertreten hatte. Das Buch ist in den Jahren 1936-1946 entstanden, wurde aber erst 1953, nach dem Tod des Autors, veröffentlicht. Siehe einführend Wikipedia-DE: https://de.wikipedia.org/wiki/Philosophische Untersuchungen*/

Eine Übersicht über alle Blogeinträge des Autors cagent nach Titeln findet sich HIER

IST DIE SELBSTVERSKLAVUNG DER MENSCHEN UNTER DIE MASCHINEN EVOLUTIONÄR UNAUSWEICHLICH?

  1. In diesem Blog gab es in der Vergangenheit schon mehrere Einträge (z.B. den ersten großen Beitrag Kann es doch einen künstlichen Geist geben?), die sich mit der Frage beschäftigt haben, inwieweit Maschinen die Lernfähigkeit und die Intelligenz von Menschen erreichen oder sogar übertreffen können.
  2. In vielen wichtigen Punkten muss man diese Frage offensichtlich bejahen, obgleich es bis heute keine Maschine gibt, die das technische Potential voll ausnutzt.
  3. Umso bemerkenswerter ist es, welche Wirkungen Maschinen (Computer) auf die Gesellschaft erzielen können, obgleich sie noch weitab von ihrem Optimum agieren.
  4. In einem Blogeintrag anlässlich eines Vortrags Über Industrie 4.0 und Transhumanismus. Roboter als Volksverdummung? Schaffen wir uns selbst ab? hatte ich noch eine grundsätzlich positive Grundstimmung bzgl. dessen, was auf uns zukommt. Ich schrieb damals:
  5. Das Ganze endet in einem glühenden Plädoyer für die Zukunft des Lebens in Symbiose mit einer angemessenen Technik. Wir sind nicht das ‚Endprodukt‘ der Evolution, sondern nur eine Durchgangsstation hin zu etwas ganz anderem!
  6. Mittlerweile beschleicht mich der Verdacht, dass wir aktuellen Menschen die nächste Phase der Evolution möglicherweise unterschätzen.
  7. Auslöser war der persönliche Bericht eines Managers in einem weltweiten IT-Konzern, der – von Natur aus ein Naturwissenschaftler, ‚knochentrocken‘, immer sachlich, effizient – zum ersten Mal nach vielen Jahren Ansätze von Emotionen zeigte, was die Entwicklung seiner Firma angeht. Die Firma (und nicht nur diese Firma, s.u.) entwickelt seit vielen Jahren ein intelligentes Programm, das eine Unzahl von Datenbanken auswerten kann, und zwar so, dass die Anfrage von Menschen ‚interpretiert‘, die Datenbanken daraufhin gezielt abgefragt und dem anfragenden Menschen dann mitgeteilt werden. Das Ganze hat die Form eines passablen Dialogs. Das Verhalten dieses intelligenten Programms ist mittlerweile so gut, dass anfragende Menschen nicht mehr merken, dass sie ’nur‘ mit einer Maschine reden, und dass die Qualität dieser Maschine mittlerweile so gut ist, dass selbst Experten in vielen (den meisten?) Fällen schlechter sind als diese Maschine (z.B. medizinische Diagnose!). Dies führt schon jetzt dazu, dass diese Beratungsleistung nicht nur nach außen als Dienstleistung genutzt wird, sondern mehr und mehr auch in der Firma selbst. D.h. die Firma beginnt, sich von ihrem eigenen Produkt – einem in bestimmtem Umfang ‚intelligenten‘ Programm – ‚beraten‘ (und damit ‚führen‘?) zu lassen.
  8. Wenn man sich in der ‚Szene‘ umhört (man lese nur den erstaunlichen Wikipedia-EN-Eintrag zu deep learning), dann wird man feststellen, dass alle großen global operierenden IT-Firmen (Google, Microsoft, Apple, Facebook, Baidu und andere), mit Hochdruck daran arbeiten, ihre riesigen Datenbestände mit Hilfe von intelligenten Maschinen (im Prinzip intelligenten Algorithmen auf entsprechender Hardware) dahingehend nutzbar zu machen, dass man aus den Nutzerdaten nicht nur möglichst viel vom Verhalten und den Bedürfnissen der Nutzer zu erfahren, sondern dass die Programme auch immer ‚dialogfähiger‘ werden, dass also Nutzer ’natürlich (= menschlich)‘ erscheinende Dialoge mit diesen Maschinen führen können und die Nutzer (= Menschen) dann zufrieden genau die Informationen erhalten, von denen sie ‚glauben‘, dass es die ‚richtigen‘ sind.
  9. Auf den ersten Blick sieht es so aus, als ob die Manager dieser Firmen dank ihrer überlegenen Fähigkeiten die Firmen technologisch aufrüsten und damit zum wirtschaftlichen Erfolg führen.
  10. Tatsache ist aber, dass allein aufgrund der Möglichkeit, dass man ein bestimmtes Informationsverhalten von Menschen (den aktuellen ‚Kunden‘!) mit einer neuen Technologie ‚bedienen‘ könnte, und dass derjenige, der dies zu ‚erschwinglichen Preisen‘ als erster schafft, einen wirtschaftlichen Erfolg erzielen kann (zu Lasten der Konkurrenz), diese rein gedachte Möglichkeit einen Manager zwingt (!!!), von dieser Möglichkeit Gebrauch zu machen. Tut der Manager es nicht läuft er Gefahr, dass die Konkurrenz es tut, und zwar vor ihm, und dass er dadurch möglicherweise auf dem Markt so geschwächt wird, dass die Firma sich davon u.U. nicht mehr erholt. Insofern ist der Manager (und die ganze Firma) ein Getriebener (!!!). Er kann gar nicht anders!
  11. Das, was den Manager ‚treibt‘, das ist die aktuelle technische Möglichkeit, die sich aufgrund der bisherigen technischen Entwicklung ergeben hat. Für die bisherige technische Entwicklung gilt aber für jeden Zeitpunkt die gleiche Logik: als die Dampfmaschine möglich wurde, hatte nur noch Erfolg, wer sie als erster und konsequent eingesetzt hat; als die Elektrizität verfügbar, nicht anders, dann Radio, Fernsehen, Auto, Computer, ….
  12. Die ‚Manager‘ und ‚Unternehmensgründer‘, die wir zurecht bewundern für ihre Fähigkeiten und ihren Mut (nicht immer natürlich), sind trotz all dieser hervorstechenden Eigenschaften und Leistungen dennoch nicht autonom, nicht freiwillig; sie sind und bleiben Getriebene einer umfassenderen Logik, die sich aus der Evolution als Ganzer ergibt: die Evolution basiert auf dem bis heute nicht erklärbaren Prinzip der Entropie-Umkehr, bei dem freie Energie dazu genutzt wird, den kombinatorischen Raum möglicher neuer Zustände möglichst umfassend abzusuchen, und in Form neuer komplexer Strukturen in die Lage zu versetzen, noch mehr, noch schneller, noch effizienter zu suchen und die Strukturen und Dynamiken der vorfindlichen Welt (Universum) darin zu verstehen.
  13. Während wir im Falle von Molekülen und biologischen Zellen dazu tendieren, diese eigentlich ungeheuren Vorgänge eher herunter zu spielen, da sie quasi unter unserer Wahrnehmungsschwelle liegen, wird uns heute vielleicht dann doch erstmalig, ansatzweise, etwas mulmig bei der Beobachtung, dass wir Menschen, die wir uns bislang für so toll halten, dazu ganze riesige globale Firmen, die für Außenstehende beeindruckend wirken und für Firmenmitglieder wie überdimensionale Gefängnisse (? oder Irrenanstalten?), dass wir ‚tollen‘ Menschen also ansatzweise spüren, dass die wahnwitzige Entwicklung zu immer größeren Metropolen und zu immer intelligenteren Maschinen, die uns zunehmen die Welt erklären (weil wir es nicht mehr schaffen!?), uns dies alles tun lassen, weil der einzelne sich machtlos fühlt und die verschiedenen Chefs auf den verschiedenen Hierarchieebenen total Getriebene sind, die ihre Position nur halten können, wenn sie hinreichend effizient sind. Die Effizienz (zumindest in der freien Wirtschaft) wird jeweils neu definiert durch das gerade Machbare.
  14. Politische Systeme haben zwar immer versucht – und versuchen es auch heute – sich ein wenig vor dem Monster der Innovation abzuschotten, aber dies gelingt, wenn überhaupt, in der Konkurrenz der Gesellschaftssysteme nur für begrenzte Zeiten.
  15. Was wir also beobachten ist, dass die immense Informationsflut, die das einzelne Gehirn hoffnungslos überfordert, Lösungen mit intelligente Maschinen auf den Plan ruft, die das Sammeln, Sortieren, Klassifizieren, Aufbereiten usw. übernehmen und uns Menschen dann auf neue Weise servieren. So betrachtet ist es hilfreich für alle, nützlich, praktisch, Lebensfördernd.
  16. Beunruhigend ist einmal die Art und Weise, das Wie: statt dass es wirklich allen hilft, hat man den Eindruck, dass es die globalen Konzerne sind, die einseitig davon Vorteile haben, dass das bisherige Ideal der Privatheit, Freiheit, Selbstbestimmung, Würde usw. aufgelöst wird zugunsten einer völlig gläsernen Gesellschaft, die aber nur für einige wenige gläsern ist. Demokratische Gesellschaften empfinden dies u.U, stärker als nicht-demokratische Gesellschaften.
  17. Beunruhigend ist es auch, weil wir als Menschen erstmalig merken, dass hier ein Prozess in Gang ist, der eine neue Qualität im Verhältnis Mensch – Technik darstellt. In primitiveren Gesellschaften (und auch noch in heutigen Diktaturen) war es üblich , dass wenige Menschen die große Masse aller anderen Menschen quasi ‚versklavt‘ haben. Unter absolutistischen Herrschern hatten alle einem Menschen zu gehorchen, ob der nun Unsinn redete oder Heil verkündete. Nach den verschiedenen demokratischen Revolutionen wurde dieser Schwachsinn entzaubert und man wollte selbst bestimmen, wie das Leben zu gestalten ist.
  18. In der fortschreitenden Komplexität des Alltags merken wir aber, dass das sich selbst Bestimmen immer mehr vom Zugang zu Informationen abhängig ist und von der kommunikativen Abstimmung mit anderen, die ohne erheblichen technischen Aufwand nicht zu leisten sind. Die dazu notwendigen technischen Mittel gewinnen aber im Einsatz, im Gebrauch eine solche dominante Rolle, dass sie immer weniger nur die neutralen Vermittler von Informationen sind, sondern immer mehr ein Eigenleben führen, das sich ansatzweise und dann immer mehr auch von denen abkoppelt, die diese vermittelnden Technologien einsetzen. Kunden und Dienstleister werden werden gleichzeitig abhängig. Wirtschaftlich können die Dienstleister nicht mehr dahinter zurück und lebenspraktisch ist der Verbraucher, der Kunde immer mehr von der Verfügbarkeit dieser Leistung abhängig. Also treiben beide die Entwicklung zu noch größerer Abhängigkeit von den intelligenten Vermittlern voran.
  19. Eine interessante Entwicklung als Teil der übergreifenden Evolution. Wo führt sie uns hin?
  20. Die Frage ist spannend, da die heute bekannten intelligenten Maschinen noch weitab von den Möglichkeiten operieren, die es real gibt. Die Schwelle ist bislang die Abhängigkeit von den begrenzten menschlichen Gehirnen. Unsere Gehirne tun sich schwer mit Komplexität. Wir brauchen Computer, um größere Komplexität bewältigen zu können, was zu noch komplexeren (für uns Menschen) Computern führt, usw. Dabei haben wir noch lange nicht verstanden, wie die etwa 200 Milliarden einzelne Nervenzellen in unserem Gehirn es schaffen, im Millisekundenbereich miteinander so zu reden, dass all die wunderbaren Leistungen der Wahrnehmens, Denkens, Erinnerns, Bewegens usw. möglich sind.
  21. Heutige Computer haben mittlerweile eine begrenzte lokale Lernfähigkeit realisiert, die ihnen den Zugang zu begrenzter Intelligenz erlaubt. Heutige Computer sind aber weder im lokalen wie im strukturellen voll Lernfähig.
  22. Einige meinen, dass die Zukunft im Sinne von technischer-Singularität zu deuten ist, dass die intelligenten Maschinen dann irgendwann alles übernehmen. Ich wäre mir da nicht so sicher. Das Hauptproblem einer vollen Lernfähigkeit ist nicht die Intelligenz, sondern die Abhängigkeit von geeigneten Präferenzsystemen (Werte, Normen, Emotionen, Bedürfnissen, …). Dieses Problem begegnen wir beim Menschen auf Schritt und Tritt. Die vielen Probleme auf dieser Welt resultieren nicht aus einem Mangel an Intelligenz, sondern aus einem Mangel an geeigneten von allen akzeptierten Präferenzsystemen. Dass Computer die gleichen Probleme haben werden ist den meisten (allen?) noch nicht bewusst, da die Lernfähigkeit der bisherigen Computer noch so beschränkt ist, dass das Problem nicht sichtbar wird. Sobald aber die Lernfähigkeit von Computern zunehmen wird, wird sich dieses Problem immer schärfer stellen.
  23. Das einzige wirklich harte Problem ist jetzt schon und wird in der Zukunft das Werteproblem sein. Die bisherigen Religionen haben unsere Blicke mit vielen falschen Bildern vernebelt und uns im Glauben gelassen, das Werteproblem sei ja gelöst, weil man ja an Gott glaubt (jede Religion tat dies auf ihre Weise). Dieser Glaube ist aber letztlich inhaltsleer und nicht geeignet, die realen Wertprobleme zu lösen.
  24. Man kann nur gespannt sein, wie die Menschheit als Teil des umfassenden Lebensphänomens mit einer immer leistungsfähigeren Technik auf Dauer das Werteproblem lösen wird. Die einzige Hoffnung ruht in der Logik des Prozesses selbst. Der Mensch in seiner unfassbaren Komplexität ist ein Produkt der Evolutionslogik; wir selbst sind weit entfernt davon, dass wir etwas Vergleichbares wie uns selbst schaffen könnten. Darf man also darauf vertrauen, dass die in allem Leben innewohnende Logik der Evolution uns Menschen als Werkzeuge benutzt zu noch mehr Komplexität, in der wir alle kleine Rädchen im Ganzen sind (als was erscheint uns  ein einzelner Mensch in einer 30-Millionen Metropole?)

Einen Überblick über alle Einträge von cagent nach Titeln findet sich HIER

INTELLIGENZ, LERNEN, IMPLIZITE WERTE: ZUR BIOTECHNOLOGISCHEN KREATIVITÄT VERURTEILT

EINFÜHRUNG

1. Momentan kreuzen wieder einmal verschiedene Themen ihre Bahnen und die folgenden Zeilen stellen den Versuch dar, einige Aspekt davon festzuhalten.

2. Ein Thema rührt von dem Vortrag am 19.Mai her, bei dem es darum ging, die scheinbare Einfachheit, Begrenztheit und Langsamkeit von uns Menschen angesichts der aktuell rasant erscheinenden Entwicklungen in einen größeren Kontext einzuordnen, in den Kontext der biologischen Entwicklung, und dabei aufzuzeigen, welch fantastisches ‚Produkt‘ der homo sapiens im Kontext des biologischen Lebens darstellt und dass unsere Gegenwart nicht als ein ‚Endpunkt‘ misszuverstehen ist, sondern als eine hochaktive Transitzone in eine Zukunft, die keiner wirklich kennt.

3. Ein anderes Thema rührt her von den neuen Technologien der Informationstheorie, Informatik, Robotik, die unser Leben immer mehr begleiten, umhüllen, durchtränken in einer Weise, die unheimlich werden kann. In den Science-Fiction Filmen der letzten 40-50 Jahren werden die ‚intelligenten Maschinen‘ mehr und mehr zu den neuen Lichtgestalten während der Mensch verglichen mit diesen Visionen relativ ‚alt‘ aussieht.

4. Während viele – die meisten? – dem Akteur homo sapiens momentan wenig Aufmerksamkeit zu schenken scheinen, auf ihn keine ernsthafte Wetten abschließen wollen, traut man den intelligenten Maschinen scheinbar alles zu.

5. Ich selbst liefere sogar (neue) Argumente (in vorausgehenden Artikeln), warum eine Technologie der künstlichen Intelligenz ‚prinzipiell‘ alles kann, was auch biologische Systeme können.

6. In den Diskussionen rund um dieses Thema bin ich dabei verstärkt auf das Thema der ‚impliziten Werte‘ gestoßen, die innerhalb eines Lernprozesses Voraussetzung dafür sind, dass das Lernen eine ‚Richtung‘ nehmen kann. Dieser Punkt soll hier etwas ausführlicher diskutiert werden.

INTELLIGENZ

7. Eine Diskussion über die Möglichkeit von Intelligenz (bzw. dann sogar vielleicht einer Superintelligenz) müsste klären, wie man überhaupt Intelligenz definieren will. Was ‚Intelligenz an sich‘ sein soll, das weiß bis heute niemand. Die einzigen, die seit ca. 100 Jahren einen empirisch brauchbaren Intelligenzbegriff entwickelt haben, das sind die Psychologen. Sie definieren etwas, was niemand kennt, die ‚Intelligenz‘, ganz pragmatisch über einen Katalog von Aufgaben, die ein Kind in einem bestimmten Alter in einer bestimmten Gesellschaft so lösen kann, dass man dieses Kind in dieser Gesellschaft als ‚intelligent‘ bezeichnen würde. Bei einem Menschen mit einem anderen Alter aus einer anderen Gesellschaft kann dieser Aufgabenkatalog ganz andere Ergebnisse liefern.

8. Interessant ist in diesem Zusammenhang, dass Kinder, denen man aufgrund ihres vermessenen Verhaltens einen hohen Intelligenzwert zugeschrieben hat, bei Langzeituntersuchung auch überdurchschnittlich ‚erfolgreich‘ (eine in sich nicht einfache Kategorie) waren. Daraus hat man die Arbeitshypothese abgeleitet, dass das messbare intelligente Verhalten ein Indikator für bestimmte ‚interne Strukturen im Kind‘ ist, die dafür verantwortlich sind, dass das Kind solch ein Verhalten hervorbringen kann. Und es sind genau diese postulierten Ermöglichungsstrukturen für de Intelligenz, die im Kind wirksam sein sollen, wenn es im Laufe seines Lebens ‚erfolgreich‘ ist.

9. Die Ingenieurwissenschaften und die Informatik benutzen Begriffe wie ’smart‘ und ‚intelligent‘ heute fast inflationär, ohne sich in der Regel die Mühe zu machen, ihre technischen Intelligenzbegriffe mit dem psychologischen Intelligenzbegriff abzugleichen. Dies führt zu großen Begriffsverwirrungen und man kann im Falle der technischen Intelligenz in der Regel nicht sagen, in welchem Sinne ein Interface oder eine Maschine ‚intelligent‘ ist, wenn sie technisch ’smart‘ oder ‚intelligent‘ genannt wird.

10. Der berühmt Turing-Test zur Feststellung, ob eine technische Vorrichtung sich in ihrem textbasierten Dialog mit einem Menschen für den beteiligten Menschen als ununterscheidbar zu einem Menschen darstellen kann, ist nach den Standards der Psychologie wenig brauchbar. Die endlosen Diskussionen um den Turing-Test dokumentieren für mich die immer noch anhaltende methodische Verwirrung, die sich im Umfeld des technischen Intelligenzbegriffs findet. Das hohe Preisgeld für den Turing-Test kann die evidenten inhärenten Schwächen des Tests nicht beheben.

11. Wenn wir also über intelligente (oder gar super intelligente) Maschinen reden wollen, sollten wir uns an bekannte, empirisch nachprüfbare und vergleichbare Standards halten, und dies sind die der empirischen Psychologie. Das gleiche gilt auch für den nächsten zentralen Begriff, dem des ‚Lernens‘.

LERNEN

12. Auch bei dem Begriff ‚Lernen‘ finden wir wieder einen inflationären Sprachgebrauch von ‚Lernen‘ in der Informatik, der in keiner Weise mit dem empirischen Begriff des Lernens in den verhaltensorientierten Wissenschaften abgestimmt ist. Was eine ‚intelligente‘ Maschine der Informatik im Vergleich zu biologischen Systemen darstellen soll, ist im allgemeinen Fall unklar. An konkreten Beispielen wie ’schachspielender Computer, ‚Routenplanung‘ für eine Reise, ‚Quizfragen beantworten‘, ‚Gegenstände erkennen‘, gibt es zwar partielle verhaltensorientierte Beschreibungen von ‚maschineller Intelligenz‘, diese sind aber nicht in eine allgemeine verhaltensorientierte Theorie ‚intelligenter Maschinen‘ integriert.

13. In den verhaltensorientierten Wissenschaften wird ‚Lernen‘ über beobachtbares Verhalten definiert. ‚Anhaltende Verhaltensänderungen‘ in ‚Abhängigkeit von bestimmten Umweltereignissen‘ bilden die Anknüpfungspunkte, um im beobachteten System allgemein Zustände anzunehmen, die sich wahrnehmungsabhängig und erinnerungsabhängig ’nachhaltig ändern‘ können. Was genau sich ändert, weiß ein Psychologe nicht, nur dass es geeignete interne Strukturen geben muss, wenn sich ein bestimmtes Verhalten zeigt.

14. Setzt man den Körper als Ermöglichungsstruktur voraus, dann beschränkt sich Lernen auf interne Veränderungen des gegebenen Körpers. Das wäre das ’normale‘ lokale individuelle Lernen. Man kann aber auch die Strukturen eine Körpers selbst als Ergebnis eines Lernprozesses auffassen, dann bezieht sich das Lernen auf den Wandel der Körperstrukturen und -formen und die dafür verantwortlichen (angenommenen) internen Zustände sind z.T. im Reproduktionsmechanismus zu verorten. Insgesamt erscheint das strukturelle Lernen aber als komplexer mehrstufiger Prozess, der Phylogenese, Ontogenese und Epigenese umfasst.

GERICHTETE KREATIVE ENTWICKLUNG

15. Solange ein System sich in seinem Lernen damit beschäftigt, Ereignisse zu identifizieren, zu klassifizieren, Muster zu erfassen, auftretende Beziehungen zu erfassen, so lange ist das Lernen ‚an sich‘ ‚wertfrei‘. Spannender wird es bei ‚Auswahlprozessen‘: womit soll sich ein System beschäftigen: eher A oder eher Nicht-A? Durch Auswahlprozesse bekommt der individuelle Lernprozess eine ‚Richtung‘, einen selektierten Ereignisraum, der sich dann auch in den Wissensstrukturen des Systems widerspiegeln wird. Jede ‚Lerngeschichte‘ korrespondiert auf diese Weise mit einer entsprechenden ‚Wissensstruktur‘. Wenn jemand Weinanbau gelernt hat, aber es gibt keinen Wein mehr, sondern nur noch Handwerk, ist er ‚arbeitslos‘ oder muss ‚umlernen‘. Wer Betriebswirtschaft gelernt hat, aber zu wenig von Qualitätsprozessen versteht, kann erfolgreiche Firmen in den Ruin steuern. Auswahlprozesse realisieren ‚Präferenzen‘: Eher A als Nicht-A. Präferenzen repräsentieren implizit ‚Werte‘: A ist besser/ wichtiger als Nicht-A.

16. Im Falle der biologischen Evolution werden die Präferenzen sowohl vom biologischen Reproduktionsmechanismus geliefert (bis dahin vorhandene Erbinformationen), wie auch durch die herrschende Umgebung, die von bestimmten Körperformen nicht gemeistert werden konnten, von anderen schon. Die in ihren Nachkommen überlebenden Körperformen repräsentierten dann mit ihren Erbinformationen eine von außen induzierte Präferenz, die ‚gespeicherten Präferenzen der Vergangenheit‘ als eine Form von ‚Erinnerung‘, als ‚Gedächtnis‘. Über die ‚Zukunft‘ weiß die biologische Entwicklung nichts! [Anmerkung: Diese Ideen finden sich u.a. auch schon in den Schriften von Stuart Alan Kauffman. Sie ergeben sich aber auch unmittelbar, wenn man mit genetischen Algorithmen arbeitet und die Lernstruktur dieser Algorithmen heraushebt.].

17. Die biologische Entwicklung lebt vielmehr von der – impliziten! – ‚Hoffnung‘, dass die umgebende Welt sich nicht schneller ändert als die gespeicherten Erbinformationen voraussetzen. Da wir heute wissen, dass sich die Welt beständig verändert hat, teilweise sehr schnell oder gar blitzartig (Vulkanausbruch, Asteroidenbeschuss, Erdbeben,…), kann man sich fragen, wie die biologische Evolution es dann geschafft hat, das Leben quasi im Spiel zu halten, ohne etwas über die Zukunft zu wissen? Die Antwort ist eindeutig: durch eine Kombination von Kreativität und von Masse!

18. Die ‚Kreativität‘ ist implizit; die Reproduktion eines neuen Körpers aus vorhandenen genetischen Informationen verläuft auf sehr vielen Ebenen und in sehr vielen aufeinanderfolgenden Phasen. Fasst man diesen ganzen Prozess als eine ‚Abbildung‘ im mathematischen Sinne auf, dann kann man sagen, dass die Zuordnung von Körpern zu Erbinformationen nicht eindeutig ist; aus der gleichen Erbinformation kann rein mathematisch eine nahezu unendlich große Anzahl von ‚Varianten‘ entstehen, mit einem möglichen ‚Variantenkern‘. In der empirischen Welt ist die Varianz erstaunlich gering und der Variantenkern erstaunlich stabil. Aber offensichtlich hat die verfügbare Varianz ausgereicht, um die sich stark verändernden Umgebungsbedingungen bedienen zu können. Voraus zur Zukunft in einer sich verändernden Welt hat man immer nur ein Teilwissen. Das ‚fehlende Wissen‘ muss man sich teuer erkaufen; es gibt nichts zu Nulltarif. Für jedes Leben, das man in der Zukunft erhalten will, muss man einen – nicht leicht genau zu bestimmenden – hohen Einsatz erbringen, in der Hoffnung, dass die Breite des Ansatzes ausreichend ist.

GEGENWART ALS TRANSIT

19. Verglichen mit den Dramen der Vergangenheit könnten uns die ‚Erfolge‘ der Gegenwart dazu verleiten, anzunehmen, dass wir Menschen ‚über dem Berg‘ sind. Dass wir jetzt so langsam alles ‚im Griff‘ haben. Diese Vorstellung könnte sehr sehr trügerisch sein. Denn das Überleben auf der Erde rechnet in Jahrhunderttausenden, Millionen oder gar hunderten von Millionen Jahren. Eine kurzfristige ‚Boomzeit‘ von ein paar Jahrzehnten besagt nichts, außer dass wir feststellen, dass schon in wenigen Jahrzehnten ungeheuer viele biologische Arten ausgestorben sind, viele weitere vom Aussterben bedroht sind, und allein wir Menschen viele zentrale Probleme der Ernährung, des Wassers und der Energie noch keineswegs gelöst haben. Außerdem haben wir nach heutigem Kenntnisstand nicht noch weitere 4 Milliarden Jahre Zeit, sondern höchstens ca. eine Milliarde Jahre, weil dann laut der Physik die Sonne sich aufgrund ihrer Kernfusionsprozess sich soweit ausgedehnt haben wird, dass ein Leben auf der Erde (nach heutigem Kenntnisstand) nicht mehr möglich sein wird.

20. Letztlich dürften wir weiterhin in dieser Position der anzustrebenden Meisterung von etwas ‚Neuem‘ sein, das wir vorab nur partiell kennen. Nur durch ein hinreichendes Maß an Kreativität und hinreichend vielfältigen Experimenten werden wir die Herausforderung meistern können. Jede Form der Festschreibung der Gegenwart als ‚unveränderlich‘ ist mittel- und langfristig tödlich.

BIOLOGIE UND TECHNIK IN EINEM BOOT

21. Aus den vorausgehenden Überlegungen ergeben sich unmittelbar einige weitreichende Folgerungen.

22. Die heute gern praktizierte Trennung von Biologie einerseits und Technologie andererseits erscheint künstlich und irreführend. Tatsache ist, dass die gesamte Technologie aus der Aktivität des biologischen Lebens – speziell durch den homo sapiens – entstanden ist. Etwas Biologisches (der homo sapiens) hat mit Mitteln der Biologie und der vorfindlichen Natur ‚Gebilde‘ geschaffen, die so vorher zwar nicht existiert haben, aber sie sind auch nicht aus dem ‚Nichts‘ entstanden. Sie sind durch und durch ‚biologisch‘, wenngleich – faktisch – mit der übrigen Natur, mit dem bisherigen Ökosystem nicht immer ‚optimal‘ angepasst. Aber die Natur selbst hat millionenfach Systeme erzeugt, die nicht optimal angepasst waren. Die Natur ist ein dynamisches Geschehen, in dem milliardenfach, billionenfach Strukturen generiert werden, die für eine Zukunft gedacht sind, die keiner explizit kennt. Es ist sozusagen ein allgemeines ‚Herantasten‘ an das ‚werdende Unbekannt‘. Wer hier glaubt, die bekannte Gegenwart als ‚Maßstab schlechthin‘ benutzen zu können, irrt schon im Ansatz.

23. Wenn nun ein Teil dieser Natur, der homo sapiens als Realisierung eines biologischen Systems, es durch seine Aktivitäten geschafft hat, seine unmittelbare Lebensumgebung umfassend und zugleich schnell so umzugestalten, dass er als Hauptakteur nun plötzlich als ‚Flaschenhals‘ erscheint, als ‚Bremsklotz‘, dann ist dies zunächst einmal keine ‚Panne‘, sondern ein riesiger Erfolg.

24. Die körperlichen Strukturen des homo sapiens, ein Wunderwerk von ca. 4 Milliarden Jahren ‚Entwicklungsarbeit‘, besitzen eine Substruktur, das Gehirn, das in der Lage ist, die strukturellen Lernprozesse der biologischen Körper in Gestalt lokaler individueller Lernprozesse dramatisch zu beschleunigen. Komplexe Gedächtnisstrukturen, komplexe Begriffsoperationen, Symbolgebrauch, Logik und Mathematik, Rechenmaschinen, Bücher, Computer, Daten-Netzwerke haben dem individuellen Gehirn eine ‚kognitive Verstärkung‘ verpasst, die die Veränderungsgeschwindigkeit des strukturellen Körperlernens von einer Dimension von etwa (optimistischen) 10^5 Jahren auf etwa (pessimistischen) 10^1 Jahren – oder weniger – verkürzt haben. Dies stellt eine absolute Revolution in der Evolution dar.

25. Hand in Hand mit der dramatischen Verkürzung der Lernzeit ging und geht eine dramatische Steigerung der Kooperationsfähigkeit durch Angleichung der Sprache(n), Angleichung der Datenräume, politisch-juristische Absicherung sozialer Räume, Verbesserung der Infrastrukturen für große Zahlen und vielem mehr.

26. Innerhalb von nur etwa 50-100 Jahren ist die Komplexitätsleistung des homo sapiens geradezu explodiert.

27. Bislang sind die neuen (noch nicht wirklich intelligenten) Technologien eindeutig eine Hilfe für den homo sapiens, sich in dieser Welt zurecht zu finden.

28. Wenn man begreift, dass die scheinbare ‚Schwäche‘ des homo sapiens nur die Kehrseite seiner ungeheuren Leistungsfähigkeit sind, sein gesamtes Umfeld dramatisch zu beschleunigen, dann würde die naheliegende Frage eigentlich sein, ob und wie der homo sapiens die neuen Technologien nutzen kann, um seine aktuellen begrenzten körperlichen Strukturen eben mit Hilfe dieser neuen Technologien soweit umzubauen, dass er selbst mit seinen eigenen Gestaltungserfolgen auf Dauer noch mithalten kann (und es ist ja kein Zufall, dass die gesamte moderne Genetik ohne Computer gar nicht existieren würde).

29. Bislang bremsen ‚veraltete‘ Ethiken in den Köpfen der Politik eine dynamische Erforschung der alternativen Strukturräume noch aus. Dies ist bis zu einem gewissen Grad verständlich, da der homo sapiens als ‚Transitwesen‘ sich nicht selbst ruinieren sollte bevor er neue leistungsfähige Strukturen gefunden hat; aber Verbote als grundsätzliche Haltung sind gemessen an der erfolgreichen Logik des Lebens seit 4 Milliarden Jahre grundlegend unethisch, da lebensfeindlich.

30. Auch die heute so ‚trendige‘ Gegenüberstellung von homo sapiens und ‚intelligenten lernenden Maschinen‘ erscheint nach den vorausgehenden Überlegungen wenig wahrscheinlich.

31. Einmal hätten mögliche intelligente Maschinen das gleiche Entwicklungsproblem wie die biologischen Systeme, die ihre Überlebensfähigkeit seit 4 Milliarden Jahre demonstriert haben. Biologische Systeme haben einen ‚mehrlagigen‘ Lernmechanismus‘ ausgebildet, der ‚Kreativität‘ als wesentlichen Bestandteil enthält. Die bisherigen Konzepte für maschinelle Intelligenz sind verglichen damit höchst primitiv. Maschinelle Intelligenz ‚für sich‘ ist auch völlig ortlos, kontextfrei. Als Moment am biologischen Entwicklungsprozess jedoch,in einer symbiotischen Beziehung zu biologischen Systemen, kann künstliche Intelligenz eine maximal hohe Bedeutung gewinnen und kann von den ‚Wertfindungsmechanismen‘ der biologischen Systeme als Teil einer vorfindlichen Natur profitieren.

32. Die Gegenübersetzung von homo sapiens und (intelligenter) Technologie ist ein Artefakt, ein Denkfehler, ein gefährlicher Denkfehler, da er genau die maximale Dynamik, die in einer biotechnologischen Symbiose bestehen kann, behindert oder gar verhindert. Das wäre lebensfeindlich und darin zutiefst unethisch.

Einen Überblick über alle Blogeinträge von cagent nach Titeln findet sich HIER: cagent.

Über Industrie 4.0 und Transhumanismus. Roboter als Volksverdummung? Schaffen wir uns selbst ab?

Vortrag am 19.Mai 2015 im Literaturhaus Frankfurt in der Veranstaltung PR-Slam & Ham 2015

In meiner Präsentation hatte ich eine Reihe von Schaubildern gezeigt, die ich dann mündlich kommentiert habe. Einen geschriebenen Text gab es nicht. Ich habe aber die Erläuterung nochmals ’nachgesprochen‘. Aus den 20 Min sind dann ca. 70 Min geworden. Die Bilder unten bilden das Rückgrat der Geschichte; sie sind nummeriert. Im gesprochenen Text nehme ich auf diese Bilder Bezug.

Das Ganze endet in einem glühenden Plädoyer für die Zukunft des Lebens in Symbiose mit einer angemessenen Technik. Wir sind nicht das ‚Endprodukt‘ der Evolution, sondern nur eine Durchgangsstation hin zu etwas ganz anderem!

 

AUDIODATEI DES KOMMENTARS (70 Minuten! mp3)

Gehirn im Körper mit Bild 1: Bewusstsein - Beobachter

Bild 1: Gehirn im Körper mit Bewusstsein – Beobachter

Bild 2: Gehirn im Körper mit Raum der Phänomene. Empirische und nicht-empirische Phänomene

Bild 2: Gehirn im Körper mit Raum der Phänomene. Empirische und nicht-empirische Phänomene

Bild 3: Korrelation zwischen Gehirn, Bewusstsein und Gedächtnis. Gedächtnis mit Sensorik, Arbeitsgedächtnis und Langzeitgedächtnis

Bild 3: Korrelation zwischen Gehirn, Bewusstsein und Gedächtnis. Gedächtnis mit Sensorik, Arbeitsgedächtnis und Langzeitgedächtnis

Bild 4: Mensch im Alltag, umringt von technischen Schnittstellen die mit digitalisierten weltausschnitten verbinden können: viel. schnell, komplex

Bild 4: Mensch im Alltag, umringt von technischen Schnittstellen die mit digitalisierten weltausschnitten verbinden können: viel. schnell, komplex

Bild 5: Menge von Komplexitätsereignissen bisher; Explosion in der Gegenwart

Bild 5: Menge von Komplexitätsereignissen bisher; Explosion in der Gegenwart

Bild 6: Konkrete Zahlen zum vorhergehenden Schaubild mit den Komplexitätsereignissen

Bild 6: Konkrete Zahlen zum vorhergehenden Schaubild mit den Komplexitätsereignissen

Bild 7: Biologischer Reproduktion als Quelle der Kreativität für neue Strukturen

Bild 7: Biologischer Reproduktion als Quelle der Kreativität für neue Strukturen

Bild 8: Struktur der biologischen Reproduktion in 1-zu-1 Isomorphie zur Struktur eines Automaten (Turingmaschine)

Bild 8: Struktur der biologischen Reproduktion in 1-zu-1 Isomorphie zur Struktur eines Automaten (Turingmaschine)

Die Vision, die in dem Audiobeitrag gegen Ende entwickelt wird, soll in dem Emerging-Mind Projekt konkret umgesetzt werden, als Impuls, als Anstoß, als Provokation, als Community, die sich mit dem Thema philosophisch, wissenschaftlich, künstlerisch und theologisch auseinandersetzt.

Eine Übersicht über alle Einträge von cagent in diesem Blog nach Titeln findet sich HIER.