Gibt es eine kanonische Kernel-Machine?

[noRkia]

Ich habe eine Frage zu Kernel-Machines bzw. dem sog. Kernel-Machinetrick.

Das Setting sieht aus wie folgt. Sei X eine Punktwolke aus l Punkten im n-dimensionalen reellen Raum R^n mit n > 1.
Uns interessiert ob X linear trennbar ist. Das heißt wir suchen eine Hyperebene in R^n, die alle Punkte in X in zwei Teilmengen trennt und war so, dass
diese Teilmengen je einer Klasse entsprechen, wobei eine Klasse durch bestimmte Merkmale definiert ist.
Wenn X nicht linear trennbar ist, dann kann man z.B. den Kernel-Trick anwenden. Dazu wird eine Abbildung f: R^n --> R^m mit m > n definiert, sodass
dass Bild f(X) linear trennbar ist.

Meine Frage ist: Wenn l bekannt ist, lässt sich dann immer in Abhängigkeit von n eine Kernel-Machine mit einem expliziten m angeben, sodass f(X) linear trennbar ist?

Ich würde pauschal sagen "ja" und zwar für m = l^n + 1. Das mag nicht die ökonomischste Kernel-Machine sein, aber es musste doch hinhauen?! Oder irre ich mich?
In diesen Falle wäre quasi für jeden Punkt ein eigener l dimensionaler Untervektorraum reserviert.

Ist das bekannt oder weiß man sogar mehr, also sowas wie m ~ l^log(n) ?

[WeTa]

Hallo noRkia!
Ich habe den Beitrag nicht ganz verstanden, aber das hier

Ist eine Kernel-Machine die auch eine Kanone ist, vielleicht hilft dir das???

liebe Grüße
WeTa

[Ken der Kot]

Hyperebene hat mich irgendwie an Hypercube erinnert, deshalb poste ich hier eine Animation eines n-dimensionalen rotierenden Hyperwürfels. Das ist ein ganz weirder Brainfuck, wenn man das länger anschaut, und mit ziemlicher Sicherheit ein genauso komplexes Konstrukt wie das Problem, das du in deiner Ausgangsfrage beschreibst. Die Assoziation war im Übrigen eine knallharte Abwägung gegen eine weitere Assoziation und mein Beitrag wäre deshalb um ein Haar ein Foto von H.P. Baxxter geworden.

[Norpoleon]

@WeTa:
Also,
mir hilft das sehr. XD

[noRkia]

Offenbar habt keine Ahnung DataScience und MachineLearning.

[Maturion]

Es ist lang her, dass ich mich mit Kernel-Methoden beschäftigt hab, also hab ich nicht mehr das beste Wissen hier. Prinzipiell sollte sich durch Dimensionserhöhung irgendwann jede Menge von Datenpunkten linear separieren lassen.

Hier auf Stackoverflow schreibt jemand, dass man mit ein paar Einschränkungen allgemein sagen kann: Ein Featureraum mit 2*l Datenpunkten ist in der Dimension 2*l - 1 linear separierbar.

Ich glaube ehrlich gesagt, dass dürfte auch schon die allgemeine, untere Schranke für die minimal benötigte Dimensionalität sein - wenn man über den Datensatz nichts weiter weiß, als die Anzahl der enthaltenen Punkte.

In der Praxis wird das aber aber natürlich total effizient sein und die Dimension deutlich niedriger sein.

Was ich nicht ganz verstehe, ist deine Hypothese am Ende: m ~ l^log(n) .
log(n) wäre ja eine Niedrigere Dimension, als die des ursprünglichen Raumes. Oder hab ich deine Notation da falsch verstanden?

[noRkia]

Danke für die Antwort.
Meine Frage ist Übersetzt: Gibt es einen konkrete KernelMachine-Trick um einen Featureraum mit 2^l in einen Raum der Dimension 2^l -1 abzubilden, wo die Punktwolke linear separierbar wird?
Das es so ein Ding gibt, sagt der Post auf Stackoverflow. Aber meine Frage bezieht sich auf die konkrete Konstruktion. Gibt es vielleicht mehrere solcher Konstruktionen bis auf Permutation der Koordinaten?

Die Komplexitätsabschätzung meint einfach nur sowas wie "Ich glaube, dass man mit größer werdendem n in der Praxis im Verhältnis immer weniger Dimensionen braucht, wenn man diese clevere KernelMachine kennt nach der ich frage."

Es gibt in der Mathematik häufig solche Phänomene wo man schnell zeigen kann, dass f(n) genügt um irgendwas zu machen, es aber nicht klar ist, ob auch f(n) minimal ist und dann kommt raus, dass man viel weniger (meistens irgendwas mit log oder 2^log(n) oä.) braucht.

[dasDull]

m=1, f(i) = 0 wenn Klasse 1, sonst f(i) = 1 wenn Klasse 2.

Ist linear trennbar durch einen Strich auf dem Zahlenstrahl.

Was ich sagen will, du wirst vermutlich Einschränkungen an f stellen müssen, damit die Frage Sinn macht.