Deep Lattice Netzwerke (DLN)

Häufige Problem­stel­lungen, mit denen wir konfron­tiert werden, lassen sich auf eine (mehrdi­men­sio­nale) Regres­sion oder eine Klassi­fi­zie­rung zurück­führen. Ausge­hend von einer Menge von Merkmalen versucht man bei der Regres­sion, die Abhän­gig­keit zwischen den Merkmalen und einer Zielgröße als Funktion darzu­stellen. Ein Beispiel wäre die Abhän­gig­keit des Umsatzes von den Ausgaben für Forschung sowie von der Mitar­beiter-Zufrie­den­heit in einem Unter­nehmen. Bei einer Klassi­fi­zie­rung werden Wahrschein­lich­keiten dafür geschätzt, dass ein Objekt zu einer vorde­fi­nierten Klasse gehört. Ein bekanntes Beispiel ist die Klassi­fi­zie­rung von Bildin­halten (Hund, Katze, LKW, …).

Die Komple­xität von Regres­sions- und Klassi­fi­zie­rungs­pro­blemen hängt von der Menge der Merkmale sowie vom Grad des Zusam­men­hanges zwischen den Merkmalen und der Zielgröße ab. Ein weiterer Aspekt ist die Abhän­gig­keit der Merkmale unter­ein­ander. Einfache Probleme lassen sich durch klassi­sche stati­sche Verfahren lösen, welche den Vorteil haben, dass man die Ergeb­nisse gut inter­pre­tieren kann. Praxis­re­le­vante Problem­stel­lungen sind im Allge­meinen durch mehrere Merkmale beschrieben, welche sich unter­ein­ander beein­flussen. Ein bekanntes und häufig verwen­detes Verfahren zur Lösung solcher Problem­stel­lungen ist ein künst­li­ches neuro­nales Netz, welches sehr leistungs­stark bei der Lösung der genannten Problem­stel­lungen ist.

Deep Lattice Netzwerke erwei­tern die Eigen­schaften eines künst­li­chen neuro­nalen Netzes um Monoto­nie­be­din­gungen zwischen einzelnen Merkmalen und der Zielgröße. Ein Beispiel für die Notwen­dig­keit ist ein Preis­mo­dell, bei dem sich der Preis einer Einheit mit der Bestell­quan­tität reduzieren soll. Das unter der Initia­tive und Mitar­beit von Google entwi­ckelte Verfahren besteht im Kern aus $n$-dimen­sio­nalen Hyper­wür­feln der Kanten­länge $1$, wobei $n$ die Anzahl der Merkmale beschreibt. Es wird also durch jede Dimen­sion des Würfels ein Merkmal abgebildet. In den Würfel legt man eine (mehrdi­men­sio­nale) Funktion, welche den Zusam­men­hang zwischen den Merkmalen und der Zielgröße beschreibt. Dazu werden für die Eckpunkte des Würfels, welche die varia­blen Parameter des Modells darstellen, Funkti­ons­werte auf Basis von Trainings­daten berechnet. Zwischen den Eckpunkten wird die Zielfunk­tion linear inter­po­liert. Zur Erhöhung der Detail­lie­rung der Funktion können die Kanten des Würfels unter­teilt werden. Durch die Teilungs­punkte wird ein Gitter (Lattice) gelegt, dessen Schnitt­punkte als zusätz­liche Parameter des Modells mit Funkti­ons­werten belegt werden.

In der folgenden Abbil­dung ist ein Lattice mit zwei Merkmalen (also ein Quadrat) darge­stellt. Für die vier Eckpunkte $\theta [i]$ als Parameter des Modells wurden Werte aus einer Menge aus Trainings­daten abgeleitet. Die darzu­stel­lende Funktion $f(x)$ wird durch lineare Inter­po­la­tion zwischen den vier Eckpunkten appro­xi­miert. Weitere Stütz­stellen zwischen den Eckpunkten zur Verdich­tung des Gitters und zur Erhöhung des Detail­ie­rungs­grades der appro­xi­mierten Funktion wurden nicht verwendet.