Lernen von Bayes-Netz-Klassifikatoren und Sum-Product Netzen

In den vergangenen Jahren wurden die Vorteile von diskriminativen Lernverfahren für Bayessche Netzwerke im Vergleich zum generativen Lernen gezeigt. Ein Performance-Unterschied ist vor allem bei Modelldiskrepanz ersichtlich, d.h dort, wo das Klassifikationsmodell nicht die wahre Verteilung repräsentiert. Wir entwickelten Maximum-Margin-Lernalgorithmen zur Bestimmung der Parameter von Bayesschen Netzwerk Klassifikatoren und Gaußschen Mischverteilungen. Weiters wurde der Margin zum exakten und approximierten Strukturlernen verwendet. Dies wird in diesem Forschungsprojekt aufgegriffen und mit den folgenden drei Schwerpunkten weiterentwickelt: (i) Erweiterung des Margin-basierten Lernverfahrens auf eine Hybridmethode, um die Vorteile von generativem und diskriminativem Lernen zu vereinen. Weiters soll das Lernverfahren auf semi- überwachte, fehlende Merkmale und latente Variablen-Szenarien erweitert werden. Dies erfordert effiziente Inferenz während der iterativen Parameteroptimierung. Hybride Parameterlernverfahren werden auch für Sum-Product-Netze, welche effiziente Inferenz ermöglichen, entwickelt. (ii) Diskriminative Strukturlernverfahren von Bayesschen Netzwerken ist rechenintensiv. Dieser Teil beschäftigt sich mit der Approximation der nicht-zerlegbaren diskriminativen Lernfunktion durch zerlegbare Funktionen, um den Rechenaufwand während der Optimierung zu verringern. Weiters sind Strukturlernverfahren für Sum-Product-Netze von Interesse. (iii) Die entwickelten Modelle werden in umfangreichen Experimenten empirisch mit gängigen deep Modellen verglichen.

In den vergangenen Jahren wurden die Vorteile von diskriminativen Lernverfahren für Probabilistische Graphische Modelle (PGMs) im Vergleich zum generativen Lernen gezeigt. Ein Performance-Unterschied ist vor allem bei Modelldiskrepanz ersichtlich, d.h dort, wo das Klassifikationsmodell nicht die wahre Verteilung repräsentiert. In diesem Forschungsprojekt wurde an drei Schwerpunkten gearbeitet: (i) Erweiterung von diskriminativen Lernverfahren auf eine Hybridmethode, um die Vorteile von generativem und diskriminativem Lernen zu vereinen. Weiters wurde das Lernverfahren auf semi- überwachte Szenarien und Daten mit fehlenden Merkmalen erweitert. (ii) Wir entwickelten Strukturlernverfahren für Sum-Product-Netze (SPNs) eine Unterklasse von PGMs um Datenverteilungen besser modellieren zu können. (iii) Die entwickelten Modelle wurden in umfangreichen Experimenten empirisch mit gängigen deep Modellen verglichen.