zurück zu Dreams of Albia, Artikelseite

Sendetag: Mittwoch, 3. Februar 1999, 20.15 Uhr

Künstliche Intelligenz - Können Maschinen denken?

Herr Gruber: Liebe Zuschauerinnen und Zuschauer, herzliche willkommen bei Alpha-Forum-Wissenschaft. Unser Thema lautet heute: "Künstliche Intelligenz - können Maschinen denken?" Lassen wir das Fragezeichen zunächst einmal ganz einfach stehen. Ich darf Ihnen unsere Gesprächsteilnehmer hier im Studio vorstellen. Von der Universität Freiburg ist Prof. Dr. Bernhard Nebel zu uns gekommen. Herr Nebel, was haben Sie denn mit der künstlichen Intelligenz an Ihrem Institut zu schaffen?

Prof. Nebel: Ich habe einen Lehrstuhl für die Grundlagen der künstlichen Intelligenz. Das deutet schon an, daß ich mich eigentlich mehr mit theoretischen Fragestellungen auseinandersetze. Da geht es z. B. darum, bestimmte Formalismen zu entwickeln, mit denen man so etwas wie Handlungsplanung oder logische Schlußfolgerungen beschreiben kann. Wir beschäftigen uns aber auch mit praxisnäheren Dingen wie z. B. dem Roboterfußball oder auch der Rollfeldplanung.

Herr Gruber: Darauf werden wir sicher noch zu sprechen kommen. Aus München vom "Forschungszentrum für wissensbasierte Systeme" begrüße ich Professor Radig. "Wissensbasierte Systeme": Das hört sich nicht unbedingt nach KI an. Hat das denn damit wirklich etwas zu tun?

Prof. Radig: Wir beschäftigen uns damit, künstliche intelligente Systeme in die Anwendung hineinzubringen, d. h., Systeme zu bauen, die auf einem Wissensfundus arbeiten und damit intelligente Dinge tun können wie z. B. Fußballspielen. Aber das ist natürlich nur eine Seite der Medaille. Viel interessanter sind Aspekte der Aktion in der realen Umwelt: Wir beschäftigen uns damit, wie wir Bilder verstehen können und wie wir aufgrund dieses Verständnisses und dieser Analyse von Bildern reagieren können.

Herr Gruber: Fußballspielen scheint etwas sehr Interessantes zu sein auf diesem Gebiet. Herr Professor Görz, Sie sind von der Fachrichtung Informatik der Universität Erlangen-Nürnberg hierher gekommen. Haben auch Sie etwas mit Fußball zu tun?

Prof. Görz: Nein, aber mit Sprache. Wir haben einige Projekte und das ist auch mein Hauptarbeitsgebiet im Bereich der maschinellen Sprachverarbeitung und dabei insbesondere im Bereich von Systemen, bei denen man mit gesprochener Sprache Auskünfte einholen oder Verhandlungen führen kann. Es geht dabei auch um Systeme, die in andere Sprachen dolmetschen. Und es geht um die Darstellung des ganzen Wissens, das man dazu braucht: Das ist nicht nur das Wissen über die Sprache selbst, sondern über unsere Lebenswelt, über das gesellschaftliche Umfeld, über die Konventionen, die wir befolgen usw.

Herr Gruber: Auch das werden wir sicher noch vertiefen. Ich darf in unserer Runde noch jemanden begrüßen, der eigentlich eher aus dem Bereich kommt, mit dem wir normalen Bürger und Menschen öfter zu tun haben: Herr Dr. Klotz kommt aus der Redaktion des Magazins "Chip". Sie leiten dort das Ressort "Magazin" und haben dabei ein spezielles Interesse an künstlicher Intelligenz und an Computerspielen. Was haben Sie als Redakteur bei "Chip" mit künstlicher Intelligenz zu tun?

Dr. Klotz: Das ist für uns immer wieder einmal ein Thema. Wir beschreiben in unserem Magazin ja auch einige Faszinationsthemen, und da gehört die KI sicherlich mit dazu: mit den Versprechungen und den Erwartungen, die man auf diesem Gebiet hegt. Daneben sehen wir ja bereits im PC von heute Ergebnisse früherer Forschungen. Heute werden Texte gescannt: Man kann also Text z. B. in andere Darstellungsformen umwandeln. Auch in Spielen befindet sich heute bereits KI.

Herr Gruber: Das bezeichnen Sie also auch als KI oder als ein Ergebnis der Forschung in diesem Bereich?

Dr. Klotz: Ja, vor einigen Jahren bzw. in den fünfziger und sechziger Jahren hat man ja darüber geredet, was man machen möchte: z. B. Texte übersetzen. Heute gibt es Programme, die das zwar bei weitem noch nicht perfekt, aber immerhin doch so können, daß Spezialisten darin eine gute Unterstützung finden. Sie können heute schon Diktierprogramme der zweiten Generation in Packungen im Computerhandel erwerben: Sie sind auch noch nicht so, daß man mit ihnen wirklich glücklich werden kann, aber die dritte Generation die Erwartung ist da bei mir so ähnlich wie damals bei der dritten Generation von "Windows" wird wohl den Vorstellungen zunehmend entsprechen.

Herr Gruber: Nun haben wir ja schon eine ganze Menge an Beispielen gesammelt. Kommen wir doch noch einmal zurück zu unserem Titel: Können Maschinen denken? Was ist eigentlich KI, was ist künstliche Intelligenz? Wenn ein technisches System eine Leistung vollbringt, die ich bei einem Menschen als intelligent bezeichnen würde, dann ist dieses System intelligent, dann kann diese Maschine denken. Kann man das so sagen?

Prof. Radig: Das kann man sicherlich so sagen. Aber wir müssen schon noch spezifizieren, was denn eine herausragende Leistung ist, insbesondere bei Maschinen. Man muß darüber nachdenken, wie sich Intelligenz eigentlich äußert: Äußert sie sich darin, daß jemand vernünftig interpretieren kann, was er sieht, daß er zuhören kann und versteht, was ein anderer sagt, und daß er sprechen und handeln kann? Genau auf diesen Standpunkt kann man sich auch stellen, wenn wir Maschinen das Sehen, das Zuhören, das Sprechen und das Handeln z. B. in Form der Roboter beibringen. Wenn sie das alles vernünftig machen, kann man sagen, daß die Maschinen zumindest intelligent agieren. Ob sie aber innen drin intelligent sind?

Herr Gruber: Das interessiert vielleicht gar nicht so sehr.

Prof. Radig: Ja, vielleicht interessiert das gar nicht.

Herr Gruber: Nun gibt es ja ein ganz spannendes und auch einigermaßen aktuelles Beispiel: diese Schachweltmeisterschaft, bei der der Computer "Deep Blue" den Schachweltmeister Kasparov geschlagen hat. Ist das nun zum einen eine intelligente Leistung gewesen, und ist zum anderen dieses System, das so etwas geschaffen hat, ein System der KI?

Prof. Nebel: Dazu hört man immer mehrere Meinungen. Meine Meinung ist, daß die Methoden, die dabei eingesetzt worden sind, Methoden der künstlichen Intelligenz sind. Und um zu gewinnen, war dazu natürlich noch sehr viel Rechenpower notwendig. Man hat dabei diese Spielbaumanalyse eingesetzt, und man hat eine ganze Menge an Schachwissen hineingesteckt: Das sind alles Methoden, die aus der KI kommen und die dort auch weiterentwickelt worden sind bis hin eben zu dieser Stufe.

Herr Gruber: Ich glaube, dieses Stichwort, das Sie vorhin gegeben hatten, wie es innen drin aussieht, ist etwas ganz anderes betrifft wahrscheinlich auch "Deep Blue". Denn man kann ja entweder sagen: "Ich will wissen, ob das Intelligenz ist, was da innen passiert so wie das bei uns Menschen abläuft." Oder man sagt: "Mich interessiert nur, was dieses System für eine Leistung bringt, mich interessiert nur die Performance. Wenn die in Ordnung ist, dann nenne ich das intelligent."

Prof. Nebel: Wobei aber eher die Beobachtung zu machen ist, daß wir es bei allen Maschinen oder auch allen Verfahren, die wir zu einer bestimmten Reife gebracht haben und die von uns auch eingesetzt werden, mit einer natürlichen Gelassenheit hinnehmen, daß man diese intelligente Leistung nun von der Maschine bekommt. Man denkt nicht darüber nach, ob diese Maschine denken kann oder intelligent ist. Statt dessen nimmt man das ganz einfach hin. Als ich z. B. die Fahrt hierher geplant habe, setzte ich mich an meinen Rechner und holte mir die Auskunft ein, wie ich von Freiburg nach Nürnberg komme: Und der Rechner zeigt mir die drei besten Routen auf. Normalerweise müßte man dazu einen Schalterbeamten fragen. Aber wir nehmen diese Leistung ganz einfach so hin und würden nicht sagen, daß da KI-Technik dahintersteckt.

Herr Gruber: Es ist für uns ganz normal, daß das so funktioniert. Wir reden über KI, aber was uns im Alltag begegnet, sind ganz normale Computer und Computerprogramme. Man macht ja mittlerweile auch keine Schleichwerbung mehr, wenn man von "Windows" des Marktführers redet: Das ist elektronische Datenverarbeitung. Was aber ist denn eigentlich der Unterschied in Richtung KI? Müssen Sie manchmal auch Ihren Lesern den Unterschied zwischen KI und EDV klarmachen?

Dr. Klotz: Ich glaube, auf dieser unteren Ebene kann man das gar nicht unterscheiden. Letztendlich läuft eben im Computer irgend etwas ab, indem Bits und Bytes gegeneinander verrechnet werden: Da kann ich schon längst nicht mehr sehen, was da genau passiert. Wenn ich von KI spreche, meine ich ja eine bestimmte Art, über ein Problem nachzudenken, über eine Modellierung. Zu dem, was Herr Nebel gesagt hat, könnte man noch folgendes ergänzen. Eine leicht spöttische Aussage über KI lautete ja immer: Wenn es noch nicht funktioniert, ist es ein Thema der KI, und wenn es dann funktioniert, spricht man nicht mehr davon, dann ist das eben etwas ganz Normales, so wie ich einen Schachcomputer heute bereits im Handel kaufen kann.

Herr Gruber: Das heißt, die KI-Leute haben manchmal ein wenig den Eindruck, daß sie unter Wert gehandelt werden und die Leute gar nicht wertschätzen, was sie gemacht haben. Ist das so?

Prof. Görz: Nein, das würde ich nicht so sehen. Es wird sicher sehr viel experimentiert, und es wird sicherlich auch häufig mit unzulänglichen Verfahren gearbeitet. Man weiß auch, daß sie in gewisser Weise unzulänglich sind. Es ist also auch immer eine empirische Komponente mit dabei. Zum Beispiel ist es eben auch in der Sprachverarbeitung so: Man muß auf vielen Ebenen Kompromisse schließen, um mit den technischen Möglichkeiten, die man hat, einen nützlichen Effekt erzeugen zu können. Ich glaube also nicht, daß das unterschätzt wird. Es ist vielleicht anders als in anderen Teilgebieten der Informatik, wo möglicherweise der Aufbau eines solchen Softwaresystems mit anderen Methoden vonstatten geht. Da wird sicherlich eine sehr viel umfangreichere Planungsphase vorgeschaltet, um ein großes Softwaresystem zu bauen. Bei den KI-Systemen, die in ihrer Struktur oft auch sehr komplex sind, wird sehr viel mehr experimentiert. Es hat sich auch gezeigt, daß in bestimmten Bereichen die Methoden, die man benutzt, um meinetwegen große kommerzielle Softwaresysteme entwerfen zu können, auch gar nicht so brauchbar sind. Denn oft weiß man gar nicht so genau, wie das Resultat sein wird.

Herr Gruber: KI-Forschung ist also offensichtlich etwas sehr Komplexes, das auch sehr viele verschiedene Disziplinen beansprucht. Vielleicht können wir nun zu diesem Anfangsbeispiel des Fußballs zurückkommen. Ihr Team ist ja Fußballweltmeister geworden im Gegensatz zur deutschen Nationalmannschaft im vergangenen Jahr. Wie ist das zugegangen?

Prof. Nebel: Sie meinen die Weltmeisterschaft selbst oder warum wir Weltmeister geworden sind?

Herr Gruber: Beides.

Prof. Nebel: Wir haben uns ganz einfach die deutsche Nationalmannschaft angesehen und haben dabei gemerkt, daß das eine sehr mechanische Art ist, Fußball zu spielen. Das haben wir dann genommen und in unsere Roboter implementiert. Nein, nein, so war es natürlich nicht. Die Idee, an dieser Weltmeisterschaft teilzunehmen, entstand deshalb, weil wir Verfahren zur Selbstlokalisation in einer bestimmten Umgebung testen wollten und weil wir ein Gefühl dafür bekommen wollten, welche Probleme auftreten, wenn mehrere Agenten in einer Umgebung zusammen agieren. Mit diesen beiden Ideen sind wir in diesen Wettbewerb hineingegangen. Wegen dieser Selbstlokalisation, die auf Laserscannern basiert, hatten wir einen ungeheuren Vorteil gegenüber allen anderen Teams und konnten ihn ausnutzen, indem wir Tore geschossen haben.

Herr Gruber: Wir können das nicht allzusehr vertiefen, aber gegen wen haben Sie gewonnen?

Prof. Nebel: Wir haben im Endspiel gegen Tübingen, im Halbfinale gegen die Osaka-University und im Viertelfinale davor gegen Yale gewonnen.

Herr Gruber: Es war also wirklich eine Weltmeisterschaft.

Prof. Nebel: Ja, es waren 16 Teams aus aller Welt daran beteiligt.

Herr Gruber: Wir haben mit diesem Thema namens Fußball schon einen kleinen Sprung gemacht, den wir vielleicht ein wenig aufklären sollten. KI ist ja in vielen Bereichen zu finden, bei denen es auch unterschiedliche Teildisziplinen gibt. Robotics und dazu gehört dann eben auch der Roboterfußball ist ein Teilbereich. Daneben gibt es aber auch noch die Entwicklung von Expertensystemen. Es gibt automatisches Beweisen, es gibt die Bildverarbeitung und das Bildverstehen. Und es gibt diesen Bereich Sprache. Mit Sprache befassen Sie sich. Sie haben das vorhin etwas allgemein skizziert, wie aber sieht das konkret aus? Wie sieht ein System aus, das Dolmetscherfunktionen erfüllen soll?

Prof. Görz: Wir haben in diesem Bereich mehrere Projekte. Das größte ist VERBMOBIL: Das ist ein Projekt, das vom BMBF, also vom Forschungsministerium in Bonn, gefördert wird. Daran sind über 30 Gruppen aus Hochschulen, Industrie und Forschungsinstituten beteiligt. Das sind wohl an die 120 Wissenschaftler, die an diesem Projekt arbeiten. Das Ziel besteht darin, ein System zu schaffen, das in nahezu Echtzeit dolmetschen kann, und zwar zwischen drei Sprachen, nämlich Deutsch, Englisch und Japanisch. Natürlich soll das nicht uneingeschränkt funktionieren, denn sonst wäre das ein Ziel, das man in absehbarer Zeit einfach nicht erreicht. Statt dessen gibt es einen ganz bestimmten Themenbereich, in dem das System arbeiten kann. Da ging es zunächst nur um Terminvereinbarungen. Das ist nun erweitert worden: Es geht jetzt um Reiseplanung und Hotelreservierung. Dann gibt es noch einen zweiten Bereich, das ist die PC-Fernwartung. Das ist ein interessantes Thema, denn Sie wissen sicherlich, daß die Firmen alle Hotlines betreiben, um die vielen Benutzer, die Schwierigkeiten mit ihrem PC haben, beraten zu können. Das ist ein sehr aufwendiges Geschäft, und da gibt es natürlich ein sehr starkes Interesse an einer zumindest teilweisen Automatisierung.

Herr Gruber: Das System VERBMOBIL, ein Dolmetscher-System, ist sicherlich sehr anspruchsvoll, auch wenn Sie nur mit einem eingeschränkten Vokabular und einem eingeschränkten Gegenstandsbereich arbeiten. Wann kann denn die Europäische Union damit rechnen, durch den Einsatz Ihres Systems die Dolmetscherkosten zu drücken?

Prof. Görz: Das ist sehr schwierig. Wenn Sie das Ganze immer auf einen bestimmten Themen- bzw. Sachbereich einschränken, dann denke ich, kann man solche Systeme durchaus in ein paar Jahren im praktischen Einsatz sehen. Je größer der Gegenstandsbereich und je größer der Wortschatz wird, um so mehr steigt natürlich die Mehrdeutigkeit, die unserer Sprache zu eigen ist und die das Geschäft so schwierig macht.

Herr Gruber: Was ist dabei Ihr Nahziel?

Prof. Görz: Das Nahziel in der zweiten und damit auch letzten Phase von VERBMOBIL besteht zunächst einmal darin, nächstes Jahr auf der "Expo" ein Dolmetsch-System vorführen zu können, das genau den Leistungsbereich umfaßt, den ich schon beschrieben habe.

Herr Gruber: Wenn sich die Leute dort alle verirren, dann sind Sie schuld, weil es nicht funktioniert hat.

Prof. Görz: Ich glaube nicht, daß dort eine Beratung über die Orientierung auf der "Expo" gegeben werden wird. Aber das wäre auch ein mögliches Thema, und das ist sogar eines, das in Deutschland auch intensiv bearbeitet worden ist, nämlich in der Frage der Wegauskünfte. Da ist es eben so, daß beim Thema der Sprachverarbeitung die ganze Komplexität der KI in irgendeiner Weise mit eingeht. Denn wenn man Wegauskünfte geben will, muß man über die Lokalisation im Raum sprechen können und irgendeine Formalisierung haben, wie man räumliche Relationen und wie man Orientierung beschreiben kann. Daneben brauchen wir das alles auch für den Faktor Zeit.

Herr Gruber: Man braucht dafür also eine ganze Menge an Weltwissen.

Prof. Görz: Ja, man braucht eine ganze Menge an Weltwissen, sowohl über die Zusammenhänge zwischen den Wörtern als auch über den ganzen Kontext wozu u. a. das praktische Handeln gehört. Das heißt, dabei braucht es eben ein sehr komplexes Wissensgebiet, das man mit einbeziehen muß.

Herr Gruber: Sie haben klar gesagt, daß so ein System nur für einen begrenzten Anwendungsbereich eingesetzt werden kann. Könnten wir damit, Herr Professor Radig, zu den Anfängen von KI kommen? Wenn ich das recht verstanden habe, war am Anfang die Erwartung ja sehr groß. In den fünfziger Jahren gab es die Rede von einem allgemeinen Problemlöser: Man glaubte, darin ein System gefunden zu haben, das alle Probleme lösen kann, die sich uns als Menschen stellen. Was ist daraus geworden?

Prof. Radig: Daraus geworden ist die Erkenntnis, daß man um so mehr Wissen, Fakten und Datenmaterial braucht, je komplexer die Probleme sind. Das heißt, wenn ich als künstliches intelligentes System meinetwegen einen politischen Witz verstehen will, muß ich mindestens drei Jahre Zeitung gelesen haben, um verfolgen zu können, wie sich die politische Landschaft entwickelt hat. Nur so kann ich als künstliche Intelligenz überhaupt über diesen Witz lachen.

Herr Gruber: Glauben Sie, daß es jemals ein System geben wird, das über einen politischen Witz wird lachen können? Es gibt wohl Kollegen, die dieser Meinung sind.

Prof. Radig: Es gibt sicherlich Kollegen, die dieser Meinung sind. Aber ich fasse diese Frage einmal etwas weiter: Es gibt sicherlich Kollegen, die der Meinung sind, daß künstliche intelligente Wesen irgendwie Teil unserer sozialen Umgebung sein könnten und wir mit ihnen ernsthaft sprechen, mit ihnen ernsthaft etwas tun könnten, und die sie wirklich ich übertreibe da absichtlich als Lebenspartner auffassen. Für mich persönlich ist das relativ unsinnig: Ich habe genug Lebenspartner, die aus Fleisch und Blut sind, da brauche ich keinen künstlichen mehr. Das ist eine Auffassung, die es eigentlich nicht zu diskutieren lohnt. Was sich lohnt, ist folgende Frage: Ist es aussichtsreich, komplexe Probleme wie beispielsweise die Lösung von politischen Konflikten auf künstliche intelligente Systeme abzuwälzen? Können wir so etwas erreichen? Das wäre wirklich eine interessante Frage.

Herr Gruber: Wie war das am Anfang, als man meinte, man könnte Systeme für alles entwickeln? Woran sind die denn im Grunde gescheitert? War das damals die noch nicht genügende Rechenpower?

Prof. Radig: Das war es eigentlich nicht. Es war ganz einfach mangelnde Einsicht und der Versuch, diese Frage auf sehr einfache Systeme abzubilden. Wenn ich mit einem künstlichen intelligenten System ein Spiel spiele sei das nun "Schach" oder so etwas Einfaches wie z. B. "Dame" oder Pokern , sagt das eigentlich noch nichts darüber aus, ob künstliche intelligente Systeme einst wirklich intelligent werden können. Wenn ich einen Problemlösungsmechanismus für solche Trivialbeispiele entwickeln kann, sagt das nichts darüber aus, ob sie auch in der realen Welt verwendungsfähig sind. Die zweite irreführende Hoffnung, die man hatte, bestand darin, daß man lernende Systeme bauen kann, d. h. Systeme, bei denen man sich gar nicht selbst die Mühe machen muß, ihnen das Wissen beizubringen. Statt dessen schauen sie sich einfach in der Welt um und lernen selbst. Auch das ist eine Hoffnung, die sich bis jetzt nicht erfüllt hat: Man kann bis jetzt auf diese Weise keine komplexen Dinge lernen.

Herr Gruber: Liegt das daran, daß wir bis jetzt noch nicht verstanden haben, wie wir Menschen das selbst machen, und wir deshalb auch noch nicht in der Lage sind, so etwas in ein Maschinensystem umzusetzen?

Prof. Nebel: Bei vielen Dingen ist es in der Tat so, daß wir nicht verstehen, wie Menschen das machen. Bei anderen Dingen ist es so, daß wir gar nicht verstehen wollen, wie Menschen das machen, weil die Menschen z. B. nicht besonders gut darin sind. Wenn man z. B. an die Logik denkt: Wenn man Versuchspersonen, meinetwegen Psychologiestudenten, nimmt und ihnen ein paar Aufgaben vorsetzt, die in Logik eingekleidet sind, dann wird man schnell feststellen, daß selbst bei ganz einfachen Schlüssen nur 70 Prozent richtige Antworten gegeben werden. Das ist sehr bedenklich, weil man bei einem Computer eben 100 Prozent richtige Antworten bekommen kann. Da möchte man dann, wie ich meine, gar nicht genauer wissen, wie der Mensch das macht, welche Prinzipien er verwendet.

Herr Gruber: Heißt das, daß wir vielleicht sogar Angst haben müssen, daß uns diese Systeme eines Tages einfach ausspielen werden?

Prof. Nebel: Nein, nein. Ich denke, das ist genauso wie bei einem Rechner. Heutzutage wird das Rechnen nicht mehr als kognitive Fähigkeit aufgefaßt: Wir wollen zehnstellige Zahlen gar nicht mehr im Kopf miteinander multiplizieren. Genauso werden wir uns meiner Meinung nach auch irgendwann von einer Maschine beim logischen Schließen unterstützen lassen.

Herr Gruber: Vielleicht war der Ansatz am Anfang zum Scheitern verurteilt, weil man so große Pläne hatte. Ich habe den Eindruck, die KI hat sich dahin bewegt zu sagen: "Laßt uns doch ganz einfache Aufgaben anschauen und versuchen, hier Lösungen zu finden!"

Prof. Radig: Ich komme einfach noch einmal auf das Beispiel Fußball zurück. Wir betreiben auch ein Fußballspiel. Und das ist deswegen ein so schönes Beispiel, weil man daran erstens studiert, wie man Maschinen das Sehen beibringen kann, so daß sie diese einzelnen Fußballspieler, die wie in meinem Fall, bei meinem Team, mit Fernsehkameras ausgerüstet sind, erkennen können, daß sie den Gegner, den Ball und die eigenen Teammitglieder erkennen können. Man kann ihnen beibringen, in einer vernünftigen Zeit darauf zu reagieren: Denn es geht ja nicht an, daß sie jeweils eine Stunde brauchen, um über jedes einzelne Bild nachzudenken das würde ja wohl nicht funktionieren. Das zweite ist ihnen beizubringen, intelligente Handlungen auszuführen. Die Maschinenspieler müssen lernen, Bälle anzunehmen, Bälle abzuspielen, Bälle zu stoppen und um die Gegner herum zu fahren. Das sind alles noch einfache Handlungen, die aber in der Programmierung noch unendlich kompliziert sind. Zumindest das Team von Herrn Nebel beherrscht sie nicht.

Herr Gruber: Nur keinen Streit.

Prof. Nebel: Das stimmt jetzt aber nicht. Wir haben einen Fahrplaner, der kollisionsfrei die Fahrt plant.

Herr Gruber: Um das zu entscheiden, müßten wir es uns anschauen können.

Prof. Radig: Das ist ja auch gar nicht so ernst gemeint. Der dritte Punkt ist der: Wenn man diese Techniken der Perzeption, des Sehens und des Handelns beherrscht, dann muß man auch Strategie und Taktik entwickeln können. Die Frage dabei ist, wie sich die Mannschaftsmitglieder abstimmen, was sie tun sollen, wie sie den Gegner überwinden können, wie man die Pläne des Gegners erkennen kann, um Gegenmaßnahmen zu erzeugen. Das sind in einer verständlichen Umgebung sehr herausfordernde Probleme, d. h., diese Probleme sind durchaus nicht klein.

Herr Gruber: Man lernt also, wie man Datensysteme gestalten muß.

Prof. Radig: Ja, man lernt auch etwas über strategische Fragen, über die Kommunikation zwischen den einzelnen Mannschaftsmitgliedern, über Abstimmung, über die Rolle eines Trainers usw.: Es gibt da also wirklich sehr viel zu lernen.

Herr Gruber: Wir haben die Frage, ob es sich bei solchen Leistungen um wirklich intelligente Leistungen handelt, ein wenig beiseite geschoben. Aber vielleicht können wir noch nachtragen, daß es hinsichtlich dieser Überlegungen einen berühmten Vater gibt, der dazu auch einen Test vorgeschlagen hat.

Prof. Görz: Man kann natürlich, wenn man sich die Frage stellt, ob Maschinen denken können, zunächst einmal einen Kategorienfehler konstatieren. Denn das Denken schreiben wir zunächst einmal nur den Menschen zu. Die Frage ist eben, inwieweit ein Artefakt überhaupt so charakterisiert werden kann. Da gibt es eben den Theoretiker Alan Turing, der in den dreißiger Jahren auf diesem Gebiet Meilensteine gesetzt hat. Er hat so um das Jahre 1959 herum ein Papier mit genau diesem Titel verfaßt. Er hat dabei die Frage ganz einfach umgedreht. Er hat gesagt: "Anstelle dieser Frage schlage ich ein Gesellschaftsspiel vor." Das war damals in England ganz offensichtlich sehr beliebt: Jemand mußte hinter einen Vorhang gehen, und dann konnte man Fragen stellen. Zu erraten war dabei, ob es ein Mann oder eine Frau ist. Das hat Turing etwas abgewandelt, indem er gesagt hat: Wenn wir jemanden, wie wir heute sagen würden, an einen Rechner setzen, er Fragen zu einem beliebigen Thema stellen kann und dabei eine Konversation zustandekommt, so daß der Mensch nicht mehr unterscheiden kann, ob der Antwortende ein Mensch oder eine Maschine ist, dann wollen wir sagen, dies ist ein intelligentes System. Das ist der sogenannte Turing-Test.

Herr Gruber: Das klingt ganz vernünftig, wenn man davon ausgeht, daß uns die bestimmte Leistung eines Systems interessiert und nicht so sehr die philosophische Tiefe des Ganzen.

Prof. Görz: Wenn ich das noch ergänzen darf. Auch heute ist es durchaus noch so, denn es gibt da einen Preis, der von einem Amerikaner ausgelobt worden ist: Entweder jedes Jahr oder jedes zweite Jahr findet in den USA ein Wettbewerb statt, bei dem jeder so ein Dialogsystem einreichen darf, das dann von einer Jury beurteilt wird – ob die Leistung wirklich adäquat ist. So ist es eben auch, wenn Sie von Intelligenz sprechen: Das ist ja auch so ein nicht ganz unproblematischer Begriff. Wenn Sie sich ansehen, wie dieser Begriff in der Psychologie in einem Intelligenztest operationalisiert wird, dann sehen Sie, daß das dabei schon auf eine Ebene kommt, die man auch formal repräsentieren und auf einer Maschine ausführen kann. Da geht es im Kern zunächst einmal nur um zweckrationales Handeln und um zweckrationalen Dialog. Wenn Sie also z. B. eine Zugauskunft haben wollen, dann haben Sie ein klares Handlungsziel. Dieser Dialog hat eine ganz bestimmte Struktur, auch wenn man dabei natürlich dann, wenn jemand z. B. über Telefon anruft, eine gewisse Flexibilität und Robustheit einbauen muß. Aber das ist eine im Grunde relativ einfache, zielorientierte und zweckrationale Geschichte, die da abläuft. Solche Dialoge kann man heute schon durchaus zufriedenstellend führen. Es gibt ja schon einige Länder bei uns soll das demnächst ja auch geschehen, bei denen ein Zugauskunftssystem am öffentlichen Telefonnetz hängt.

Herr Gruber: Es gibt ja auch ein ganz berühmtes Beispiel, von dem ich nicht weiß, ob es als Turing-Test gelten kann: nämlich das Programm ELIZA, das sozusagen einen Psychologen nachgebildet hat. Was hat es mit diesem ELIZA-Programm auf sich?

Prof. Nebel: Ich wollte gerade noch etwas ergänzen: Diese Turing-Test-Wettbewerbe werden im allgemeinen nicht zur KI gezählt. Und zwar deshalb nicht, weil die Techniken, die da eingesetzt werden, genau die Techniken sind, die von diesem Programm ELIZA kommen und da nur weiterentwickelt worden sind. Das sind Techniken, da...

Herr Gruber: Vielleicht sollten wir ganz kurz schildern, worum es sich bei ELIZA handelt.

Prof. Nebel: Das ist ein Programm, das einen Psychologen nachäfft bzw. simuliert, der einer bestimmten Richtung angehört, nämlich der Rogers-Therapie, der patientenzentrierten Therapie. Diese Psychologen arbeiten so, daß sie Aussagen der Patienten aufgreifen, sie dem Patienten zurückspielen und so das Gespräch in Gang halten. Das ist eben eine Sache, die man mit einem bestimmten Programm relativ einfach erledigen kann: Man pickt sich einfach Stichworte aus dem Dialog heraus, und gibt sie dem Dialogpartner wieder zurück. Da entsteht dann die Illusion eines intelligenten Gesprächs.

Herr Gruber: Dieser Begriff der künstlichen Intelligenz ist also ganz offenbar ein sehr weicher Begriff.

Dr. Klotz: Was von solchen Systemen zu halten ist, davon können sich alle Leute selbst überzeugen, denn diese Systeme treten heute auch im World Wide Web an. Das heißt, man kann über Internet selbst mit Ihnen in Kontakt treten und sich mit ihnen unterhalten. Länger als eine Minute macht man das eigentlich nicht, weil man das Strickmuster dann schon erkannt hat. Es ist zwar teilweise ganz witzig, sich mit ihnen zu unterhalten, aber es kommt dabei nicht viel rüber. Da sieht man, daß das Niveau eben nicht besonders hoch ist.

Prof. Görz: Vielleicht darf ich noch eine Bemerkung nachschieben: Der Autor von ELIZA, Joseph Weizenbaum, der das vor 30 Jahren gemacht hat, hat es eigentlich als Witz gedacht. Das Verblüffende war, und das hat er auch sehr ausführlich beschrieben, wie die Leute auf dieses Programm reagiert haben. Obwohl er ihnen gesagt hat, daß die Konversation aufgezeichnet wird, haben ihn manche Leute gebeten, den Raum zu verlassen, weil sie mit diesem Programm über intime Dinge reden wollten. Ich habe einmal eine von diesen Transkriptionen gelesen: Da ist ein Psychiater an dieses Programm gesetzt worden, der auf ganz einfache Tricks hereingefallen ist. In diesem Programm ist z. B. vorgesehen, daß nach so und so viel Dialogschritten das Thema gewechselt wird. Darüber äußert er sich in diesem Protokoll sehr erstaunt, indem er sagt: "Manches mag ja etwas komisch gewesen sein, aber daß nun plötzlich ein derart intelligenter Themenwechsel geschieht, das kann eine Maschine eben nie machen!" Daran kann man also sehen, daß sich Laien sehr leicht verblüffen lassen. Weizenbaum war im Grunde genommen sehr erschüttert darüber, wie leicht Leute zu täuschen sind.

Prof. Nebel: Ich denke, man kann daran sehen, daß dieser Turing-Test eben nicht besonders valide ist. Wir Menschen lassen uns gerne von Maschinen täuschen, und wenn wir uns täuschen lassen wollen, sind wir schnell bereit, jemandem Intelligenz zuzuschreiben.

Herr Gruber: Bei einem Dolmetscherprogramm kann es schon manchmal geschehen ich hoffe es im Grunde, daß wir uns täuschen lassen, weil das System wirklich so perfekt ist. Bei einem Psychologietest kann das vielleicht auch funktionieren. Aber wie lange wird es denn noch dauern, bis der Trainer der deutschen Fußballnationalmannschaft hier in Schwierigkeiten kommt?

Prof. Nebel: Vorgesehen sind 50 Jahre. Es ist tatsächlich so, daß die Robocup-Federation als Fernziel angegeben hat, in 50 Jahren gegen den dann amtierenden Fußballweltmeister mit einer Robotermannschaft antreten zu wollen. Da 50 Jahre so weit gewählt sind, daß wir bis dahin alle pensioniert sind, haben wir wohl alle kein Problem mehr damit.

Herr Gruber: Aber das Thema der Roboter ist natürlich insofern sehr wichtig, weil da vieles integriert ist: Da ist die Intelligenz vorhanden, die sicher auch notwendig ist das sei auch den Fußballfans zugestanden, da gibt es die Emotion, die bei menschlicher Intelligenz ja auch eine Rolle spielt, und es gibt zuvorderst den Körper. Das ist ja bei all diesen Robotern der Fall. Insofern ist die Entwicklung von Robotern ein ganz zentrales Gebiet, oder?

Prof. Radig: Wenn ich das einmal gegeneinandersetzen darf, dann haben wir ja folgenden Unterschied. Zum einen haben wir das, was mit Sprache, mit Spracherzeugung, mit Sprachverstehen zu tun hat: Das ist ja an den Menschen, an das menschliche Gehirn, an die Abstraktionsfähigkeit und die Verstehensfähigkeit des Menschen adressiert. Dann gibt es die andere Kategorie, wenn wir von Robotern sprechen, die autonom und selbständig in der Welt agieren und irgend etwas tun, sie fahren z. B. herum, spielen Fußball, graben, putzen Fenster oder was auch immer. Sie haben Sensoren, die die reale Umwelt wahrnehmen. Dann gibt es eben künstliche Wesen, die etwas sehen oder hören oder sonstwie wahrnehmen können und die etwas tun. Das muß nicht durch den menschlichen Kopf gehen, das kann wirklich autonom geschehen. Das ist sicherlich eine sehr interessante Klasse von Anwendungen und Herausforderungen, die sich dabei ergibt.

Herr Gruber: Vielleicht könnten wir an dieser Stelle das Thema der künstlichen Intelligenz erweitern, denn es gibt auch den Begriff des künstlichen Lebens, man spricht von "artificial life". Das ist etwas, das Sie sehr interessiert. Wo finden wir so etwas?

Dr. Klotz: Zunächst auch nur in der Simulation. Aber ich denke, daß der Punkt, den Professor Radig gerade angesprochen hat, sehr entscheidend ist. Wenn ich irgendwo in einem System Intelligenz suchen müßte, dann würde ich es dort tun, wo ein künstliches System versucht, Inputs zu bekommen, also aus seiner Umwelt etwas aufzunehmen. Denn nur dann wird es auch gezwungen sein wenn es richtig programmiert ist , sich mit dieser Umwelt auseinanderzusetzen und sich anzupassen. Und das war ja für uns Menschen in unserer biologischen Entwicklung doch eine ganz wesentliche Triebfeder. Gerade so etwas versucht man eben auch nachzubilden: Man schafft also heute im Computer eine kleine künstliche Welt, bei der es nicht unbedingt darum geht, die reale Welt mit Kameras etc. abzubilden. Statt dessen hat man ein kleines Labor geschaffen, eine künstliche Welt, in die Organismen hineingesetzt werden. So etwas findet man und das war vor einem Monat bei uns ein Thema heute in einem Computerspiel, das sich "Creatures" nennt. Dort werden diese kleinen "Norns" aus Eiern ausgebrütet, und das sind dann auch Wesen, die mit nichts auf dieser Welt wirklich etwas gemein haben. Aber sie sind eben doch nach einigen Prinzipien unserer Welt modelliert. Man kann ihnen etwas beibringen, d. h., sie lernen nicht von selbst. Sie bringen natürlich Eigenschaften mit, aber man kann schon auch versuchen, sie auszubilden. Sie können sich sogar paaren, und ich kann dann über diese Zyklen immer "intelligentere" Wesen bekommen. Das finde ich zumindest einen ganz interessanten Ansatz, den man heute auch wirklich auf den Markt bringen kann, denn das ist ein System, das robust genug ist, um über mehrere Generationen zu funktionieren.

Herr Gruber: Ist das nun ein System, das für sich steht, also lediglich ein interessantes Computerspiel ist, oder wirkt das, dieses "artificial life", dieses künstliche Leben, auch befruchtend auf die allgemeine KI-Forschung?

Dr. Klotz: Da gibt es schon noch Projekte, die über das reine Spielen hinaus abgelaufen sind. Zum Beispiel haben diese "Norns" auch dazu gedient, die Kunden in einer Bank zu simulieren. Die Fragestellung war dabei, wann Kunden ärgerlich werden, wenn es zu lange dauert. Wann fangen sie an herumzulaufen usw.? Das hat man simuliert. Man kann diese Norns dabei eben so programmieren, daß die Ergebnisse wirklich nützlich sind für den Auftraggeber dieser Fragestellung. Die zweite kleine Anwendung bestand darin, daß diese kleinen "Norns" in der Simulation Flugzeuge geflogen haben. Das Erstaunliche dabei war, daß sie zwar sowieso steuern konnten - auf, ab, links, rechts -, also ganz rudimentäre Sachen, die hineinprogrammiert waren. Aber mit der Zeit haben sie auch komplexe Flugmanöver gelernt. Die Nachfolger der ersten Generation konnten plötzlich einem Angreifer ausweichen und abtauchen ganz so, wie es die Profis in der Wirklichkeit auch tun würden. Sie haben auch ganz selbständig herausgefunden, daß sich eine sehr stabile Flugbahn ergibt, wenn man spiralförmig fliegt: Das wäre für einen Menschen sehr ungesund, aber Projektile z. B. fliegen ja auch so. Da ist also am Schluß doch mehr vorhanden gewesen als am Anfang.

Herr Gruber: Das heißt, das ist ein Programm, das imstande ist zu lernen, das bestimmte Größen durch positive oder negative Erfahrung verstärkt: Das ist also ein echtes lernfähiges System. Kann denn die KI weiter etwas daraus machen, für handgreifliche und konkrete Produkte? Oder ist das eben nur ein Spiel?

Prof. Görz: Daß das Lernen oder zumindest die Operationalisierung eines Teils des Lernens, so daß man das in ein solches System integrieren kann eine ganz zentrale Rolle spielt, ist offensichtlich. Es gibt ja solche Systeme, die zu einem großen Teil mit statistischen Verfahren arbeiten, große Datenbestände auswerten das reicht über viele Bereiche der KI und dann versuchen, gewisse Regelmäßigkeiten zu entdecken und eventuell auch Regeln zu formulieren, wie man gewisse Serien fortsetzen könnte, um das dann gewinnbringend einsetzen zu können. Das gibt es schon. Das gibt es z. B. im Finanzbereich: Viele Unternehmen haben ja gewaltige Datenfriedhöfe herumliegen, die mit den bisherigen Methoden nicht sinnvoll ausgewertet werden können, die aber offensichtlich in vielen Fällen sehr wertvolle Erkenntnisse liefern könnten, wenn man denn die Verfahren dazu hätte. Dazu gibt es nun eine Vorgehensweise, die in den letzten Jahren unter dem Thema Data-Mining bekannt geworden ist. Da werden solche lernenden Systeme durchaus eingesetzt: Sie versuchen, in solchen riesigen Datenbeständen bestimmte Regelmäßigkeiten, Entwicklungstendenzen usw. zu erkennen.

Herr Gruber: Herr Radig, Sie hatten ja schon diesen Unterschied angesprochen, ob etwas durch das menschliche Gehirn hindurchgehen muß oder ob die Systeme für sich existieren. Es ist für jeden immer wieder spannend, darüber nachzudenken, inwieweit es einmal Systeme oder Roboter geben wird, die zu uns wirklich in Konkurrenz treten werden. In den USA wird darüber ja wild spekuliert, da wird auch der Zeithorizont ganz klar vorgegeben: Die Roboter lösen uns ab! Wird es dazu kommen?

Prof. Nebel: Ich denke, es wird genauso dazu kommen, wie es dazu kommen wird, daß uns die Autos und die Handys "beherrschen" und zwar auch in genau der gleichen Art und Weise.

Herr Gruber: Ja, aber das Handy können wir abschalten, wenn wir wollen, das Auto können wir benutzen oder es auch bleiben lassen.

Prof. Nebel: Ja, aber wenn Sie sich in unserer Welt umsehen, dann erkennen Sie, daß diese Welt so gestaltet ist, daß sie autofreundlich und nicht menschenfreundlich ist. Die Welt ist also schon sehr in der Richtung modelliert worden, daß sich das Auto "wohlfühlen" kann.

Herr Gruber: Aber es ist doch gerade ein Zug unserer Zeit, daß wir versuchen, das wieder etwas rückgängig zu machen. Aber wenn die Rechner autonom existieren, und wir dann sozusagen zum alten Eisen gehören: Wer soll dann die Uhr umkehren? Ich weiß, wir spekulieren da etwas, aber es ist eben doch auch die Frage, welche Perspektiven in solchen Entwicklungen stecken.

Prof. Nebel: Nein, nein. Ich denke, daß uns die Roboter in genau der gleichen Art und Weise beherrschen werden: Sie werden auch herumfahren, und wir werden wahrscheinlich vieles in unserer Umwelt daraufhin ausrichten, damit sie bequem herumrollen und die Papierkörbe auch wirklich ausleeren können. Aber ich glaube nicht, daß uns die Roboter in irgendeiner Art und Weise tatsächlich beherrschen können oder wollen: dazu müßten sie ja so etwas wie Willen und Intention haben und das habe ich bisher eben in der ganzen Entwicklung noch nicht gesehen.

Herr Gruber: Da sind wir nun bei einem Stück Prognose, bei einem Stück Zukunftsforschung so im Stile der Delphi-Methode angelangt: Experten fragen, was in 20 oder 30 Jahren sein wird. Was wird sein in 30 Jahren? Wie weit werden Roboter entwickelt sein und uns beherrschen oder nicht?

Prof. Radig: Eine einfache Antwort darauf ist folgende, Herr Nebel hat das soeben ja schon gesagt: Wir haben immer die Tendenz, die Dinge zu vereinfachen. In einem Gespräch wie diesem hier müssen wir das sogar tun, indem wir Programme, Roboter und Computer vermenschlichen und sagen, sie würden dieses oder jenes machen und sie würden uns "beherrschen". Das Grundmaterial aber, aus dem solche Dinge leben, sind Programme, die im wesentlichen von Menschen geschrieben worden sind. Ob wir so etwas programmieren können? Zumindest die Studenten, die ich ausbilde, können das nicht, denn sie sind zu dumm dazu.

Herr Gruber: Na, na.

Prof. Radig: Gut, ein bißchen etwas können sie schon. Zum Beispiel gute Strategieprogramme für Fußballspiele schreiben. Das ist eine Möglichkeit, die es gibt. Die Sache mit den ernsthaften Anwendungen will ich ein wenig konkretisieren, Herr Nebel. Wir haben uns z. B. lange Zeit mit Fahrerassistenzsystemen beschäftigt, d. h. damit, mehr Autonomie und Intelligenz ins Auto hineinzubringen in der Weise, daß Fahrzeuge den Fahrer beim Erkennen von Verkehrszeichen, von Straßenrändern, von Fahrbahnen, von Kurven, hinsichtlich des Abstands zum Vordermann usw. unterstützen: Da kommen wir in einen schleichenden Ablösungsprozeß hinein, bei dem wir gar nicht mehr merken, daß wir irgendwann einmal vom Auto quasi beherrscht werden. Das geht dann eben von der Unterstützung bis hinein zu immer höheren Autonomiestufen, bis die Autos irgendwann von alleine fahren, wir dabei die Augen schließen und am Steuer quasi schlafen können. Es mag schon sein, daß wir in eine solche Abhängigkeit hineingeraten können.

Prof. Nebel: Aber das Ziel geben doch immer noch wir vor. Wir sagen schon noch selbst, daß wir nach Nürnberg fahren wollen.

Herr Gruber: Was werden in 30 Jahren die höchstentwickeltsten Systeme sein oder wann auch immer?

Prof. Görz: Da ist gewaltig viel Spekulation und Science-fiction mit dabei. Ich bin auch hinsichtlich dieser Delphi-Studien sehr skeptisch. Da wird natürlich immer ganz fröhlich in die Zukunft hinein extrapoliert...

Herr Gruber: Machen Sie das nicht auch fröhlich, machen Sie das seriös?

Prof. Görz: Ich bin da wirklich sehr skeptisch, weil ich denke, daß immer zuerst diejenigen Dinge automatisiert werden, die wirtschaftlich einen besonderen Effekt bringen. Das wird auch mehr und mehr in den Dienstleistungsbereich eindringen. Denn das wirtschaftspolitische Allheilmittel Dienstleistungsbereich ist nämlich gar keines, weil auch da die Automatisierung rapide voranschreitet. Es ist immer eine Frage der Kosteneffektivität, die dabei die wichtigste Rolle spielt. Ob das unbedingt die vielen kleinen herumfahrenden Roboter sind, die bestimmte einfache Aufgaben erledigen, weiß ich nicht. Aber ich kann mir vorstellen, daß all das, was sich relativ leicht automatisieren läßt und was in der Lage ist, z. B. eine Dienstleistung rund um die Uhr zur Verfügung zu stellen, wahrscheinlich in Kürze gemacht werden wird, wenn es technisch machbar und einigermaßen robust einsetzbar ist. Wir haben bisher den Bankautomaten und den Tankautomaten bekommen, und wir werden in vielen Bereichen in einiger Zeit Auskunftsautomaten bekommen, die man dann auch noch nachts um vier Uhr anrufen kann.

Herr Gruber: Aber der Haushaltsroboter läßt noch etwas auf sich warten?

Prof. Görz: Ich denke, das ist auch ein Kostenproblem.

Herr Gruber: Die Leser von "Chip" sind sicherlich auch daran interessiert, sich gerade auf einem so spekulativen Gebiet vorstellen zu können, was einmal sein wird. Was schlagen Sie da dem Leser vor?

Dr. Klotz: Ich denke, das wird auch weniger spektakulär kommen, als man meinen könnte, wenn man sich bestimmte Filme ansieht. Ich glaube nicht so sehr an diese Blechbüchsen, die da herumfahren und fröhlich blinken. Marvin Minsky war es wohl, der in der Einführungsveranstaltung seinen Studenten immer folgendes Beispiel gab: "Wie könnte ein Roboter aussehen, den man nimmt, um den Abwasch zu erledigen?" Da kamen von seiten der Studenten die wildesten Konstruktionsvorschläge, und er sagte zu ihnen: "Nun schaut mal in die Küche, was das steht! Das ist dieses unauffällige Gerät, das ganz anders als ein Mensch funktioniert, aber die Sache viel besser macht: die Spülmaschine!" Insofern denke ich mir, daß wir da ganz ähnliche Lösungen für Dinge finden werden, so daß wir dann sagen werden: "Hey, das ist aber praktisch! Das wollen wir haben, das ist bezahlbar." Das hat seine Wurzeln in der KI, aber irgendwann werden wir vielleicht gar nicht mehr groß darüber reden, ob das KI ist oder nicht, sondern nur noch darüber, was das kostet und wozu man es brauchen kann.

Herr Gruber: Ich bedanke mich für einiges an Spekulation, aber ich bedanke mich natürlich auch für die Informationen, die konkret nachvollziehbar und handfest sind, die Entwicklungen betreffen, von denen wir uns vielleicht morgen schon umgeben sehen. Liebe Zuschauerinnen und Zuschauer, ich hoffe, daß es kein zu breiter Bogen war, den wir hier in der Sendung gespannt haben. Mir ist die Erkenntnis wichtig, daß künstliche Intelligenz keineswegs völlig spekulativ ist, sondern daß sie sich mit ganz konkreten Problemen befaßt und versucht, Lösungen zu entwickeln, die unserem Intelligenzbedürfnis sehr entgegenkommen. Ich bedanke mich bei meinen Gästen hier im Studio sehr für das Gespräch, und ich bedanke mich bei Ihnen fürs Zuschauen. Das war Alpha-Forum-Wissenschaft.

 zurück zu Dreams of Albia, Artikelseite