sora aoi9a

Variational Message Passing ( VMP ) ist eine ungefähre Inferenztechnik für kontinuierlich oder diskret bewertete Bayes-Netzwerke mit von John Winn entwickelten konjugat-exponentiellen Eltern. VMP wurde als Mittel zur Verallgemeinerung der ungefähren Variationsmethoden entwickelt, die von solchen Techniken wie der Latent Dirichlet-Zuordnung verwendet werden, und arbeitet durch Aktualisieren einer ungefähren Verteilung an jedem Knoten durch Nachrichten in der Markov-Decke des Knotens.

Wahrscheinlichkeit untere Grenze [ edit ]

In Anbetracht einiger verborgener Variablen ${ displaystyle H}$ H "/> und beobachteten Variablen [EsistdasZielderAnnäherungdieWahrscheinlichkeitzuverringerndasssicheingrafischesModellinderKonfigurationbefindet V { displaystyle V. V { displaystyle V} $V$ } $V$ . Über eine gewisse Wahrscheinlichkeitsverteilung ${ displaystyle Q}$ (wird später definiert),

{displaystyle ln P(V)=sum _{H}Q(H)ln {frac {P(H,V)}{P(H|V)}}=sum _{H}Q(H){Bigg [}ln {frac {P(H,V)}{Q(H)}}-ln {frac {P(H|V)}{Q(H)}}{Bigg ]}}

.

Also, wenn wir unsere untere Schranke definieren wollen

{displaystyle L(Q)=sum _{H}Q(H)ln {frac {P(H,V)}{Q(H)}}}

dann ist die Wahrscheinlichkeit einfach diese Grenze plus die relative Entropie zwischen ${displaystyle P}$ und ${ displaystyle Q}$ . Da die relative Entropie nicht negativ ist, ist die oben definierte Funktion ${ displaystyle L}$ tatsächlich eine Untergrenze der logarithmischen Wahrscheinlichkeit unserer Beobachtung $] { displaystyle V}$ . Die Verteilung ${ displaystyle Q}$ hat aufgrund der Grenzwertbildung einen einfacheren Charakter als der von ${ displaystyle P} P "/>$ unlösbar. Insbesondere verwendet VMP eine faktorisierte Verteilung ${ displaystyle Q}$ :

{ displaystyle Q (H) = prod _ {i} Q_ {i} (H_ {i}),}

wobei ${ displaystyle H_ {i}}$ ein disjunkter Teil ist des grafischen Modells.

Bestimmen der Aktualisierungsregel [ edit ]

Die Wahrscheinlichkeitsschätzung muss so groß wie möglich sein; weil es eine untere Schranke ist, die näher kommt ${displaystyle log P}$ verbessert die Annäherung an die log-Wahrscheinlichkeit. Durch Ersetzen in der faktorisierten Version von ${ displaystyle Q}$ ${19659159] {19659159] {19659159] {19659159] {19659159] (Q)}$ parametrisiert über die verborgenen Knoten ${ displaystyle H_ {i}}$ als oben ist einfach die negative relative Entropie zwischen ${ displaystyle Q_ {j}}$ plus weitere Begriffe unabhängig von ${ displaystyle Q_ {j}}$ wenn ${ displaystyle Q_ {j} ^ {*}}$ ist definiert als

{displaystyle Q_{j}^{*}(H_{j})={frac {1}{Z}}e^{mathbb {E} _{-j}{ln P(H,V)}}}

wobei ${193style mathbb {E} _ {- j} { ln P (H, V) }}$ ist die Erwartung über alle Distributionen ${ displaystyle Q_ {i}}$ mit Ausnahme von ${[display65 Q1]$ . Wenn wir also ${ displaystyle Q_ {j}}$ als j 19 einstellen ] { displaystyle Q_ {j} ^ {*}} $Q_ {j} ^ {*}$ ist die Grenze ${ displaystyle L}$ maximiert.

Nachrichten in variierendem Message Passing [ edit ]

Eltern senden ihren Kindern die Erwartung einer ausreichenden Statistik, während Kinder ihren Eltern ihre natürlichen Parameter senden, was auch das Senden von Nachrichten erfordert die Co-Eltern des Knotens.

Beziehung zu exponentiellen Familien [ edit ]

Da alle Knoten in VMP aus exponentiellen Familien stammen und alle Elternknoten mit ihren Kinderknoten konjugieren, kann die Erwartung der ausreichenden statistischen Größe erhalten werden aus dem Normalisierungsfaktor berechnet werden.

VMP-Algorithmus [ edit ]

Der Algorithmus beginnt mit der Berechnung des erwarteten Wertes der ausreichenden Statistik für diesen Vektor. Führen Sie dann an jedem Knoten Folgendes aus, bis die Wahrscheinlichkeit auf einen stabilen Wert konvergiert (dies wird normalerweise durch Einstellen eines kleinen Schwellenwerts und Ausführen des Algorithmus erreicht, bis er um weniger als diesen Schwellenwert ansteigt):

Alle Nachrichten von Eltern abrufen

Alle Nachrichten von Kindern abrufen (dies erfordert möglicherweise, dass die Kinder Nachrichten von den Co-Eltern erhalten).

Berechnen Sie den erwarteten Wert der ausreichenden Knotenstatistik

. Einschränkungen [ edit ]

Da jedes Kind mit seinem Elternteil konjugiert werden muss, werden dadurch die Arten von Verteilungen eingeschränkt, die im Modell verwendet werden können. Beispielsweise müssen die Eltern einer Gaußschen Verteilung eine Gaußsche Verteilung (entsprechend dem Mittelwert) und eine Gammaverteilung (entsprechend der Genauigkeit oder eine über ${displaystyle sigma }$ Dirichlet-Eltern haben, und Poisson- und Exponentialknoten müssen Gamma-Eltern haben. Wenn die Daten jedoch auf diese Weise modelliert werden können, bietet VMP ein allgemeines Rahmenwerk für die Bereitstellung von Inferenz.

Verweise [ edit ]

Externe Links

Infer.NET: ein Inferenz-Framework, das eine Implementierung von VMP mit enthält Beispiele.

Grübchen: ein Open-Source-Inferenzsystem, das VMP unterstützt.

Eine ältere Implementierung von VMP mit Verwendungsbeispielen.

sora aoi9a

Thứ Tư, 13 tháng 2, 2019

Variational Message Passing - Wikipedia