Quelle: www.computerwoche.de, Update 23.02.18: Studie zeichnet düsteres Bild, Update 28.02.18: Menschen müssen aufhören, ihren Augen zu trauen, Update 12.03.18: Erschreckend echt

Machine-Learning-Algorithmen könnten die IT Security maßgeblich voranbringen. Doch auch kriminelle Hacker haben das maschinelle Lernen für sich entdeckt.

Definiert wird Machine Learning (ML) als „Fähigkeit (eines Computers), ohne entsprechende Programmierung zu lernen“. Für die IT-Sicherheitsbranche ist das ein großer Wurf. Schließlich hat die Technologie das Potenzial, den menschlichen Sicherheitsanalysten unter die Arme zu greifen, um Schwachstellen und Einfallstore in der IT schnellstmöglich zu identifizieren und schließen zu können. Neben der Malware-Detektion und dem Auswerten von Logfiles könnte sich maschinelles Lernen im Security-Bereich auch positiv auf die Sicherheit von Endpoints auswirken und zur Automatisierung repetitiver Aufgaben zum Einsatz kommen.

Diese Entwicklung hat vielerorts zu der Überzeugung geführt, dass mit Hilfe von Machine-Learning-Lösungen (im Gegensatz zu Legacy Tools) auch die nächste WannaCry-Attackepostwendend entdeckt und verhindert wird. Fakt ist: Die explosionsartige Vermehrung von Daten und Apps machen den Einsatz von Automatisierungslösungen unumgänglich – vielerorts braucht man maschinelles Lernen und Künstliche Intelligenz, um dem Netzwerk-Traffic und den User-Interaktionen überhaupt noch Herr werden zu können.

Das Problem an der Sache: Kriminelle Hacker wissen das. Und werkeln fleißig an ihren eigenen KI- und Machine-Learning-Tools, die künftig für Angriffe bisher nicht gekannter Komplexität sorgen könnten.

Durch einen zunehmenden Organisationsgrad und eine blühende Darknet-Servicelandschafttreiben kriminelle Hacker inzwischen ihre Innovationen so schnell voran, dass die IT-Sicherheit kaum mehr Schritt halten kann. Das Szenario wird umso bedrohlicher, wenn man bedenkt, dass sich sowohl die Machine-Learning-, als auch die KI-Technologie erst am Anfang ihrer Entwicklung befindet.

Von Hackerangriffen mit Machine-Learning-Tools war bislang zwar noch nicht viel zu hören oder zu lesen, doch einige Angriffs-Techniken werden bereits von Cyberkriminellen adaptiert.

Eine wesentlich simplere – aber nicht weniger effektive – Methode, maschinelles Lernen für einen Cyberangriff zu nutzen, ist die Infizierung der ML-Engine selbst. Ganz ähnlich also, wie kriminelle Hacker Antivirus-Lösungen außer Kraft setzen.

Das Vorgehen ist dabei denkbar einfach: Das Machine-Learning-Modell lernt aus den eingegebenen Daten. Wenn dieser Datenpool kompromittiert ist, ist es auch der daraus resultierende Output. Wissenschaftler der Universität von New York haben bereits demonstriert, wie sich konvolutionale neuronale Netze mit Hintertüren ausstatten lassen, um solche gefälschten Daten zu injizieren.

Siehe weiter den vollständigen Artikel: Wie maschinelles Lernen zum Verhängnis wird

Update 23.02.18: Studie zeichnet düsteres Bild

Quelle: orf.at

Der Bericht The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation, der unter anderem von der Universität Oxford und der Electronic Frontier Foundation (EFF) herausgegeben worden ist, warnt vor dem Missbrauch künstlicher Intelligenz (KI). Nicht nur Kriminelle, auch Staaten könnten die rasant fortschreitenden Entwicklungen auf dem Gebiet für ihre Zwecke nützen.

Eine weitere mögliche Anwendung künstlicher Intelligenz sei die Automatisierung personalisierter „Phishing“-Angriffe im Netz. In Zukunft könnten entsprechende Mails, mit denen versucht wird, an persönliche Daten der Adressaten zu gelangen, nur noch schwer als Angriff erkannt werden.

Während die Szenarien ein düsteres Bild der unmittelbaren Zukunft zeichnen, geht es den Experten nicht darum, Panik zu verbreiten, sondern auf stark veränderte Bedrohungen hinzuweisen, die durch die Technologie ermöglicht wird. Angesprochen werden darin Politiker und andere Entscheidungsträger ebenso wie Forscher.

Künstliche Intelligenz sei dabei stets eine Technologie mit zwei möglichen Einsatzzwecken: Da die Anwendungsgebiete – wie etwa Gesichtserkennung – nicht wertend per se seien, könnten sie auch Kriminellen dienen. Aktuell würde sich das bereits bei der Suche nach Softwarefehlern zeigen. Hacker können ihre Funde den Herstellern mitteilen, um Lücken zu schließen, oder sie selbst nützen (oder an andere verkaufen), um Schaden anzurichten.

Möglichen Missbrauch ortet der Bericht aber nicht nur bei Terroristen und in der organisierten Kriminalität, sondern auch in der Politik. Bereits jetzt können skrupellose oder autokratische Staats- und Regierungschefs die durch Überwachungssysteme gesammelten Datenmengen nutzen, um ihr eigenes Volk auszuspionieren.

Durch die ständig steigende Rechenleistung sei es möglich, Bild und Ton schneller automatisiert zu verarbeiten und damit die Überwachung auf die gesamte Bevölkerung auszuweiten. Zusätzlich könne mit Hilfe billiger, aber äußerst glaubwürdig gefälschter Videos die öffentliche Meinung manipuliert werden.

Die Autoren des Berichts zählen zahlreiche Vorteile künstlicher Intelligenz auf, die bei einem Missbrauch verheerende Auswirkungen haben könnten. So sei KI etwa „effizient und skalierbar“: Nachdem ein Arbeitsprozess „trainiert“ wird – zum Beispiel für die Erkennung von Gesichtern – können Systeme verhältnismäßig kostengünstig erweitert werden. Damit steigt die Leistungsfähigkeit, ohne zusätzliche menschliche Arbeitskräfte zu benötigen.

Update 28.02.18: Menschen müssen aufhören, ihren Augen zu trauen

Quelle: www.sueddeutsche.de

Eine App ermöglicht es Laien, Gesichter von Prominenten in Hardcore-Pornos zu montieren. Das erschreckend perfekte Ergebnis erschüttert die Glaubwürdigkeit von Bildern und Videos. Fakeapp heißt die Software dazu, die in die Welt gesetzt wurde sie von jemandem, der sich „Deepfakes“ nennt.

Es ist ja eine der größten Ironien des Anthropozäns, also jener Epoche, in der der Mensch Natur, Umwelt, ja die Geschicke der Erde bestimmt, dass er seinen Grips darauf verwendet, künstliche Intelligenzen sich selbst optimieren zu lassen. Deren Erfolge stellen sich nun oft binnen Monatsfrist ein, „deep learning“ nennt man das. Es erfolgt über Netzwerke, deren Aufbau dem menschlichen Gehirn nachgeahmt ist. Maschinen können mittlerweile in Abermillionen Fotos einzelne Individuen identifizieren. „Deepface“ heißt denn auch das entsprechende System von Facebook.

Menschen glauben, was sie sehen. Doch das sollten sie sich schleunigst abgewöhnen. Denn nun muss jeder Videobeweis als potenziell gefälscht gelten, Rache-Pornos genauso wie die mutmaßlichen Belege von Überwachungskameras. Die Beweiskraft von Bildern ist erschüttert.

Update 12.03.18: Erschreckend echt

Quelle: www.tagesanzeiger.ch

Ein Programm ermöglicht die fast perfekte Illusion: Deepfakes sind täuschend echte Videomanipulationen.

Noch ist die Fakeapp für Technikamateure nicht ganz einfach zu bedienen. Sie bedarf darüber hinaus anscheinend grosser Rechenleistung – je perfekter das Ergebnis sein soll, desto länger dauert der «Trainingsprozess» – und ein gutes Ausgangsmaterial: Wer wirklich täuschend echte Videomanipulationen erstellen möchte, braucht Hunderte, vielleicht sogar Tausende Fotos eines Gesichts, das dazu noch auf einen Körper passt. Dass Buscemis markante Visage nicht zu Stones Körper gehört, erkennt man sofort. Wer ernsthaft täuschen möchte, muss sich mehr Mühe machen.

Doch die App wird weiterentwickelt und benutzerfreundlicher werden (derzeit ist sie als Version 2.2 erhältlich) und die, die sie bedienen, ihre technischen Fähigkeiten ebenfalls ausbauen. Auf Reddit wurden das Programm und die resultierenden Videos – vor allem die pornografischer Art – derart populär, dass die Forumbetreiber sich zum Eingreifen gezwungen sahen. Seit Januar sind mehrere Subreddits geschlossen worden, Fakeapp hat für seine Nutzer kurzerhand auf der eigenen Website ein Forum eingerichtet. Auch Twitter und die Pornoseite Pornhub haben derartige Deepfake-Videos entfernt.

In den USA gibt es bereits vereinzelt Politiker, denen diese Form von Manipulation so grosse Sorgen bereitet, dass sie gar ein neues Fake-News-Zeitalter aufziehen und Handlungsbedarf sehen. IT-Experten wie Aviv Ovadya von der Universität von Michigan teilen diese Sorgen und weisen darauf hin, dass Fake-Videos nur ein Aspekt einer düsteren digitalen Zukunft sein könnten.

Ein weiterer Aspekt, der skeptisch machen sollte, wird derweil auf Reddit diskutiert: Man weiss nicht, wer hinter der Fakeapp steckt. Eine Abfrage in der Domain-Registratur für fakeapp.org verweist lediglich auf einen Host in Toronto, Kanada. Der Betreiber der App will gegenüber Roose, dem Journalisten der «Times», lieber anonym bleiben. Reddit-Nutzer mutmassen, dass es ein Leichtes wäre, mit dem Download des Programms auch Schadsoftware auf einen Rechner zu schmuggeln.

Was die Anwendung allerdings heute schon zeigt: Es ist möglich, Videos fast täuschend echt zu manipulieren, es wird einfacher werden, und sie wird genutzt. Natürlich werden Experten wie Laien besser darin werden, diese Deepfakes zu entlarven – Kopfzerbrechen bereiten sie alle mal. Man muss kein ausgesprochener Pessimist sein, um sich zu fragen, wie lange man noch den eigenen Augen trauen kann.

Hillary Clinton | Face Replacement

Dieses Video ansehen auf YouTube.

Kommentar

Hier brauen sich weitere dunkle Wolken bzw. Schwarze Schwäne zusammen, die unsere Vorstellungskraft wohl noch deutlicher übersteigen, als so manch anderes Thema auf dieser Seite. Wenn man die Entwicklungsgeschwindigkeit der „dunklen Seite“ in den vergangen Jahren betrachtet, dann wäre es alles andere als überraschend, wenn wir hier schneller „Lösungen“ sehen würden, als auf der Cyber-Sicherheitsseite. Hinzu kommt, dass diese Lösungen ja nicht perfekt sein müssen. Und damit steigt auch die Wahrscheinlichkeit von massiven Kollateralschäden. Wenn die Dinger einmal in „the wild“ sind, kann man sie auch nicht mehr einfach einfangen. Ganz abgesehen von der fehlenden Möglichkeit zur Risikoeinschätzung, da es sich ja um nichtlineare Systeme handelt.

Siehe etwa auch Das System: Künstliche Intelligenz und wir bzw. 2018 drohen selbstlernende “Swarm”-Cyber-Attacken

Besonders „beeindruckend“ finde ich die Entwicklungen im Bereich Video faking … siehe Übernimmt die KI die Macht? bzw. Deep Learning

Oder auch:

Synthesizing Obama: Learning Lip Sync from Audio

Dieses Video ansehen auf YouTube.

Zusatz von Franz Hein:

Mein grundsätzlicher Ansatz für künftige Energiezellen und das dabei angewandte Orchestrieren, das Befehle von außen völlig vermeiden soll, hat noch Verbesserungsbedarf. Durch den ankommenden (orchestrierenden) Informationsstrom darf es nicht zu einer völligen Desorientierung und dadurch ausgelösten Fehlhandlungen in der betroffenen Energiezelle kommen.

Der wichtigste Satz in dem beigefügten Artikel ist dieser (von mir etwas ergänzt und umformuliert):

Autonomes, nicht zentral koordiniertes oder auf singuläre Informationen beruhendes Verhalten und autonome Gegenmaßnahmen sind in Zukunft Grundlage einer ausreichenden System-Robustheit. Der Originalsatz lautet:

„Autonome Gegenmaßnahmen sind die Zukunft der IT-Sicherheit“

Gemäß der Geschichten von einem Baron von Münchhausen, der behauptete, dass er sich an seinen eigenen Haaren aus dem Sumpf gezogen hat, behaupte ich, dass es nicht möglich ist, dass ein IT-System durch reine IT-technischen Maßnahmen sich selbst schützen kann. Es braucht einen sicheren äußeren Fixpunkt, von dem aus das IT-System beobachtet werden kann. Von dort aus muss erkennend und schützend eingegriffen werden können. Der äußere Fixpunkt muss außerhalb des IT-Systems sich befinden und muss auf völlig andere Gesetzmäßigkeiten aufbauen. IT-System und äußerer Fixpunkt müssen disjunkt sein (= absolut nicht zusammenpassend).

Ich erinnere mich an einem Vorfall in unserem Prozessleitsystem. Drei Jahre nach Inbetriebnahme des Prozessleitsystems kam ich morgens in die Warte und sah mehrere Meßwertschreiber, welche schon einige Zeit einen völlig geraden Strich zeichneten, obwohl zuvor das gewohnte stochastische „Zappeln“ der Messwerte gezeichnet worden war. Meine sofortige Schlussfolgerung war: Es kommen keine neuen Messwerte mehr an. Es muss eine Störung eingetreten sein. Die Schreiber zeichneten den Meßwert, der als letzter vor der Störung eingegangen war. Der zeitliche Beginn des „Strichs“ war an mehreren Meßwertschreibern exakt der gleiche und muss deshalb der Beginn der Störung gewesen sein.

In dem Prozessleitsystem kamen die Messwerte aus den Schaltanlagen nicht direkt, sondern über ein Doppelrechner-System des jeweiligen Informationsknotens in die Leitwarte. Mein Anruf an den Ort mit einen solchen Doppelrechner-System für die Messwert-Vorverarbeitung ergab durch Augenschein: Beide Rechner waren im Zustand „Stand-by“ und vertrauten in diesem Zustand, dass der jeweils andere Rechner im Zustand „Aktiv“ war, weil dieser ja „lief“. Damit war keine Notwendigkeit einer Umschaltung gegeben und da jeder im „Stand-by“-Betrieb war, wurden zur Leitzentrale von beiden Rechnern des Doppelrechnersystems keine Messwerte gesandt. Das Senden wäre Aufgabe des Rechners, der im Zustand „Aktiv“ hätte sein müssen. Es war aber keiner mehr in diesem Zustand, warum auch immer.

Ich war in diesem Fall der äußere Fixpunkt, der feststellte: Die angezeigten und mittels Messwertschreiber gezeichneten Werte müssen aufgrund der Physik sich ständig stochastisch „bewegen“. Also waren die gezeichneten Messwerte nicht mit der Physik vereinbar. Und die IT kann die Physik unter keinen Umständen beeinflussen. Die Physik des Stromnetzes, zusätzlich meine Beobachtung und Schlussfolgerungen waren der Schlüssel zum Erkennen eines Rechner-dead-locks in einem vorgelagerten Rechnersystem. Das Abschalten und Neustarten der beiden Rechner beseitigte unverzüglich den unzulässigen Betriebszustand. Im weiteren Betrieb und auch bei den anderen sieben Informationsknotenrechner trat dieser Fehler nur einmal während der 18-jährigen Betriebszeit auf, also nach dem Vorfall 15 Jahre lang nicht mehr. Die eigentliche Fehlerursache konnte nicht aufgedeckt werden. Es war ein einmaliger Fehler, allerdings ein gravierender. Ein stiller Systemtod, obwohl beide Rechner ja „in Betrieb“ waren.

Nachträglich betrachtet, hätten wir so etwas wie ein Totmann-System bei dem Doppelrechner-System so einbauen müssen, dass ein unzulässiger Systemzustand (beide Rechner in stand-by-modus, aber auch beide Rechner im aktiven Modus) zu einem Alarm hätte führen müssen. Dieser Alarm hätte dann aber mit einem unabhängigen System eine unabhängige Überwachungsstelle erreichen und zum Eingreifen bewegen müssen.

Zu meinem Orchestrieren kommt noch eine Gemeinheit hinzu: Die Energiezelle muss sich bei ihrer energetischen Vernetzung hinsichtlich ihrer Bezugs- aber auch hinsichtlich ihrer Einspeiseleistung so verhalten, dass sich aus Gesamtsicht kein zu hoher Gleichzeitigkeitsfaktor bei einer beabsichtigten (auch bei einer unbeabsichtigten) Leistungsänderung ergibt, den die Netzregelung des Gesamtsystems nicht verkraften würde. Das kann nur durch ein Anfrage-/Freigabe-Verfahren beherrscht werden. Die Anfrage wäre an die zugehörige Leitstelle zu richten. Von dort müsste die Freigabe erfolgen. Es muss dabei auch auf die Zeitverzüge geachtet werden. Unbeabsichtigte Leistungsänderungen können durchaus auch durch äußere Einflüsse bedingt sein. Das Thema „Robustheit“ ist also wirklich kein einfaches Thema.

Da die Gesamtsicht in der Leitzentrale auf einer Vielzahl von Einzelsichten aufbauen müsste (damit auch da keine Störung in das Gesamtsystem eindringen kann, weil viele Einzelsichten eigentlich nicht alle gemeinsam „versaut“ werden können) ist da eine gewisse Robustheit gegeben. Aber auch da muss noch ein äußerer Fixpunkt sein. Dafür würde sich die Messung der Frequenz in den Energiezellen und auch in der Leitzentrale anbieten. Diese Messwerte dürften sich nur relativ unwesentlich unterscheiden. Damit könnte eine vertrauenswürdige Kontrolle durch Vergleich der eigenen Sicht mit der von der Leitzentrale erzeugten und versandten Gesamtsicht ermöglicht werden. Die Frequenz des Wechselstroms in einem zusammengeschalteten Netz bekommt so eine weitere bedeutsame Rolle.