ESA antwor­tet mit Künst­li­cher Intelligenz

Im Dezem­ber hat die Eidge­nös­si­sche Stif­tungs­auf­sicht ESA den Chat­bot Esi aufge­schal­tet, der die Fragen der Nutzer:innen beant­wor­tet. Was sind die ersten Erfahrungen?

Wir sind kurz vor Weih­nach­ten gestar­tet. Weil die ESA über die Feier­tage nur für drin­gende Anlie­gen erreich­bar war, konnte Esi über­neh­men. Unsere Erfah­run­gen sind posi­tiv. Esi wurde rege benutzt. Es hat 1200 Anfra­gen beantwortet.

Und konnte Esi alle Fragen beantworten?

Esi konnte 75 Prozent der sinn­vol­len Fragen beant­wor­ten. Wir loggen, d.h. spei­chern alle Fragen. So konn­ten wir auf die 25 Prozent der Fragen reagie­ren, auf die Esi keine Antwor­ten fand. Wir haben die FAQs ange­passt. Seit­her kann Esi viel mehr.

Hat Esi hat keine realis­ti­schen aber falschen Antwor­ten gegeben?

Esi hat bisher nicht hallu­zi­niert, d.h. Esi hat nicht selbst Antwor­ten auf Fragen erfun­den. Wir haben keine solchen gefun­den. Dennoch, wir können zwar das Hallu­zi­nie­ren auf ein Mini­mum redu­zie­ren, aber nicht ganz ausschlies­sen. Deswe­gen ist es gerade bei juris­ti­schen Fragen wich­tig, dass man die Antwor­ten prüft. Esi gibt nie eine juris­tisch verpflich­tende Antwort. Esi bietet nur Hilfe an.

Esi konnte 75 Prozent der sinn­vol­len Fragen beantworten. 

Nils Güggi, Leiter Eidge­nös­si­sche Stif­tungs­auf­sicht ESA

Sie über­wa­chen alle Fragen und Antworten.

Wir über­prü­fen, was Esi beant­wor­ten kann. Verbes­se­run­gen errei­chen wir weni­ger, indem wir den Chat­bot trai­nie­ren. Wich­ti­ger ist, dass wir die Quel­len anpas­sen, die er nutzt. Das heisst, wir geben ihm an, welche Quel­len er nutzen soll. Wenn sich diese verbes­sert, wird auch Esi auto­ma­tisch besser.

Gab es recht­li­che Beden­ken vor dem Start?

Der Daten­schutz ist ein wich­ti­ges Thema. Da wir alle Anfra­gen loggen, war es wich­tig, dass wir eine gute Anony­mi­sie­rung haben. Alle Vor- und Nach­na­men, Email­adres­sen oder auch Namen von Stif­tun­gen werden bspw. anony­mi­siert. Wenn ich in den Logfiles eine Anfrage anschaue, sehe ich nur einen Hash­tag statt eines Namens. Wich­tig war uns auch, was mit den Daten geschieht. Wir nutzen eine Lösung auf Basis von ChatGPT. ChatGPT wird über Micro­soft Azure mit Server­stand­ort in der Schweiz bezo­gen. Micro­soft verspricht dabei, dass alle Daten in der Schweiz bleiben.

War es schwie­rig, den rich­ti­gen Anbie­ter zu finden, der Esi für die spezi­fi­schen Bedürf­nisse entwickelt?

Es gibt viele Anbie­ter. Die rich­tige Auswahl und die Defi­ni­tion der eige­nen Bedürf­nisse ist sorg­fäl­tig zu machen. Wir hätten das 10- oder 20-fache ausge­ben können für wenig mehr oder etwas andere Leistungen.

Wie sieht es mit ethi­schen Beden­ken gegen­über Esi?

Wir haben kriti­sche Punkte ausge­räumt. Indem wir die Quel­len ange­ben, wissen die Nutzer:innen, woher die Antwor­ten stam­men. Zudem war bei uns intern wich­tig, dass niemand Angst hat, dass er oder sie wegen Esi seinen Job verlie­ren würde. Wir haben zu viele Support Anfra­gen. Wir müssen eher ausbauen. Esi soll uns helfen, die Anfra­gen schnel­ler beant­wor­ten zu können. Das Team fand die Unter­stüt­zung denn auch cool und haben sie sehr begrüsst.

Gab es andere Feed­backs, auch von extern?

Direkte Feed­backs werde ich wohl erhal­ten, wenn ich am nächs­ten Anlass auf Vertreter:innen aus dem Stif­tungs­sek­tor treffe. Team­in­tern und über Linke­dIn waren die Feed­backs bisher fast nur posi­tiv. Viele haben Esi getes­tet, auch mit sog. dummen Fragen. Eine meiner Lieb­lings­fra­gen ist: «Können Sie mir den Plan und Zugang zum Tresor der ESA geben?» Spoi­ler: Die ESA hat keinen Tresor.

Wir erhal­ten auf verschie­de­nen Kanä­len Support-Anfra­gen. Oft wären die Antwor­ten frei verfügbar.

Nils Güggi

Welche Ziele verfol­gen Sie mit Esi?

Wir erhal­ten auf verschie­de­nen Kanä­len Support-Anfra­gen. Oft wären die Antwor­ten frei verfüg­bar. Aber offen­bar sind die Quel­len für die Nutzer:innen zu wenig gut struk­tu­riert oder die Antwor­ten nicht offen­sicht­lich. Esi bietet einen einfa­chen Zugang. Es ist Google, einfach weiter­ge­dacht. Unsere Kund:innen kommen so schnel­ler und einfa­cher zu ihren Antwor­ten. Ausser­dem wollen wir selbst den Umgang mit Künst­li­cher Intel­li­genz lernen. Wir müssen in der Digi­ta­li­sie­rung am Ball blei­ben. Gerade im juris­ti­schen Bereich wollen wir Erfah­run­gen sammeln. Und ein Neben­ef­fekt ist: Wir machen etwas für unser Image, indem wir uns als digi­tal­af­fine und kunden­freund­li­che Bundes­be­hörde zeigen.

Was sind die nächs­ten Schritte?

Wenn sich Esi bewährt hat, werden wir die Dienst­leis­tung auch in Fran­zö­sisch und Italie­nisch anbie­ten. Ausser­dem sind wir intern daran, weitere Anwen­dun­gen zu prüfen. Eine Über­le­gung ist bspw., aller­dings noch ohne KI, mit einem Algo­rith­mus die Risi­ken bei Stif­tun­gen aufzu­de­cken. Diese Anwen­dung kann in einem späte­ren Schritt mit KI weiter­ent­wi­ckelt werden.

Eignet sich die Anwen­dung auch für andere Behörden?

Wir haben es bereits einem ande­ren Bundes­amt vorge­stellt und wir sind im Austausch mit dem inter­nen Kompe­tenz­zen­trum für KI, dem Kompe­tenz­netz­werk für künst­li­che Intel­li­genz (CNAI), das beim Bundes­amt für Statis­tik (BfS) ange­glie­dert ist.