9th June 2024, 6 min read

Projektionsmatrix eines Raumes

Original post is here eklausmeier.goip.de/blog/2024/06-09-projektionsmatrix-eines-raumes.

1. Projektor

Sei eine lineare Mannigfaltigkeit ${\cal M}\subseteq\mathbb{C}^n$ aufgespannt durch die $s$ linear unabhängigen Vektoren $a_1,\ldots,a_s\in\mathbb{C}^n$. Sei $A=(a_1,\ldots,a_s)\in\mathbb{C}^{n\times s}$. Es gilt

$$ % Mehrfache Indizes für Minoren: % #1: Anzahl der Indizes, #2: Variable für unten \def\multisub#1#2{{\textstyle\!{\scriptstyle1\atop\scriptstyle#2_1}% {\scriptstyle2\atop\scriptstyle#2_2}% {\scriptstyle\ldots\atop\scriptstyle\ldots}% {\scriptstyle#1\atop\scriptstyle#2_#1}}} % #1: Anzahl der Indizes, #2: Variable für oben \def\multisup#1#2{{\textstyle\!{\scriptstyle#2_1\atop\scriptstyle1}% {\scriptstyle#2_2\atop\scriptstyle2}% {\scriptstyle\ldots\atop\scriptstyle\ldots}% {\scriptstyle#2_{#1}\atop\scriptstyle#1}}} % #1: Anzahl der Indizes, #2: unten, #3: oben \def\multisubsup#1#2#3{{\textstyle\!{\scriptstyle#3_1\atop\scriptstyle#2_1}% {\scriptstyle#3_2\atop\scriptstyle#2_2}% {\scriptstyle\ldots\atop\scriptstyle\ldots}% {\scriptstyle#3_{#1}\atop\scriptstyle#2_{#1}}}} \def\xM{x_{\cal M}} \def\xMb{x_{{\cal M}^\bot}} \forall x\in{\cal M}: \: \dot\exists u\in\mathbb{C}^s:\quad x=Au. $$

Sei ${\cal M}^\bot$ das orthogonale Komplement von ${\cal M}$, also $y\in{\cal M}^\bot$ genau dann, wenn

$$ x\bot y\: (\forall x\in{\cal M}) \iff Au\bot y\: (\forall u\in\mathbb{C}^s) \iff \langle x,y\rangle = 0 = \langle Au,y\rangle. $$

Ist die Orthogonalitätsrelation (bzw. die dazugehörige Sesquilinearform) nicht ausgeartet, so gilt

$$ x\in{\cal M}\cap{\cal M}^\bot \: \Rightarrow\: x\bot x \: \Rightarrow\: x=0, $$

also ${\cal M}\oplus{\cal M}^\bot=\mathbb{C}^n$. Jeder Vektor $0\ne x\in\mathbb{C}^n$ lässt sich somit eindeutig zerlegen in einen Anteil aus ${\cal M}$ und einen Anteil aus ${\cal M}^\bot$, also

$$ \forall 0\ne x\in\mathbb{C}^n:\: \dot\exists\xM\in{\cal M}:\: \dot\exists\xMb\in{\cal M}^\bot:\quad x = \xM + \xMb. $$

Bezeichnung: $\xM$ heißt die Projektion von $x$ auf ${\cal M}$ und $\xMb$ heißt orthogonale Projektion von $x$ auf ${\cal M}$.

1. Satz: Bei fest gegebener Basis $a_1,\ldots,a_s$ von ${\cal M}$ lassen sich $\xM$ und $\xMb$ berechnen durch

$$ \eqalign{ \xM &= Px, \qquad P=A(A^*A)^{-1}A^*,\cr \xMb &= Qx, \qquad Q=I-P=I-A(A^*A)^{-1}A^*.\cr } $$

Da $A\in\mathbb{C}^{n\times s}$ maximalen Spaltenrang hat, ist $A^*A$ nach der Gramschen Determinante invertierbar.

Bezeichnung: $P$ heißt Projektionsmatrix oder Projektor, $Q$ heißt orthogonaler Pojektor; genauer ist von $P_s$ bzw. $Q_s$ zu sprechen.

Beweis: Sei

$$ x = u_1a_1+\ldots+u_sa_s)+(u_{s+1}a_{s+1}+\ldots+u_na_n) =: Au + \hat A\hat u. $$

Es ist $\xM=Au$, mit $u\in\mathbb{C}^s$. Durch Linksmultiplikation mit $(A^*A)^{-1}A^*$ folgt $u=(A^*A)^{-1}A\xM$. Ein Element von ${\cal M}$ muß bzgl. der Basis $a_1,\ldots,a_s$ die Koordinaten $(u_1,\ldots,u_s,0,\ldots,0)$ haben, somit

$$ \xM = Px = (A,*)\pmatrix{u\cr0\cr} = Au = A(A^*A)^{-1}A^*x. $$

Für $x\in\cal M$ gilt $x=Au$ und $Px=Au=x$. Für $x\in{\cal M}^\bot$ gilt $A^*x=0,$ wegen $a_i^*x=0$ ($i=1,\ldots,s$). Die Darstellung von $Q$ folgt sofort aus der Darstellung von $P$, wegen $\xMb = x - \xM = x - Px$. ☐

2. Beispiel: Seien $n=3$, $s=2$, $a_1=(1,0,0)^\top$, $a_2=(0,1,0)^\top$. Damit wird $P=A(A^\top A)^{-1}A^\top=\mathop{\rm diag}(1,1,0)$, wegen $A^\top A={1{\mskip 3mu}0\choose 0{\mskip 3mu}1}$. Dies ist tatsächlich die Projektion auf die ersten beiden Komponenten.

3. Satz: Bezeichne $\mathopen|x\mathclose|=\sqrt{\langle x,x\rangle}$. Es gelten

(1) $P^*=P$, $Q^*=Q$ (Hermitizität),

(2) $P^2=P$, $Q^2=Q$ (Idempotenz),

(3) $x,a_1,\ldots,a_s$ linear anhängig $\iff$ $Qx=0$,

(4) $P$, $Q$ positiv semidefinit,

(6) $P_iP_k = P_{\min(i,k)}$, $Q_iQ_k = Q_{\max(i,k)}$,

(7)

$$ P_ia_k = \cases{=0, &falls $i\lt k$,\cr \ne0, &sonst,} \qquad Q_ia_k = \cases{=0, &falls $k\lt i$,\cr \ne0, &sonst.} $$

Beweis: zu (1) und (2): elementare Rechnung.

zu (3): $Qx=0$ $\iff$ $x\in{\cal M}$ $\iff$ $x,a_1,\ldots,a_s$ im gleichen $s$-dimensionelen Raum.

zu (4): $P$, $Q$ hermitesch mit Eigenwerten 0 und 1.

zu (6) und (7): klar. ☐

4. Beispiel: Projektionen müssen nicht immer hermitesch, noch niemals normal sein. Projektionen können auch die euklidische Norm eines Vektors vergrößern. Dies zeigt $R={1{\mskip 3mu}1\choose 0{\mskip 3mu}0}$: $R^2=R$ (Projektoreigenschaft), $R\ne R^\top$, $R^\top R\ne RR^\top$ und $R{1\choose1}={2\choose0}$, aber $\mathopen|(2,0)\mathclose|=2$, $\mathopen|(1,1)\mathclose|=\sqrt2$. Der obige Satz sagt, daß mit dem Projektor $A(A^*A)^{-1}A^*$, dies alles nicht passieren kann.

2. Basiswechsel

1. Jeder Vektor $x\in\mathbb{C}^n$ besitzt bzgl. der Basis $a_1,\ldots,a_n$ eine Darstellung der Form $x=\sum{1\le i\le n} a_i\hat x_i = A\hat x$, oder $\hat x=A^{-1}x$, wobei $A=(a_1,\ldots,a_n)\in\mathbb{C}^{n\times n}$. Jeder Vektor $y\in\mathbb{C}^n$ hat also bzgl. $a_1,\ldots,a_n$ die Basisdarstellung $\hat y=A^{-1}y$. Sei $B=(b_1,\ldots,b_m)\in\mathbb{C}^{m\times m}$ eine Basismatrix für den $\mathbb{C}^m$ und sei $L\colon\mathbb{C}^n\mapsto\mathbb{C}^m$ eine Matrix bzgl. der Standardbasis. Der Übergang von der Standardbasis im $\mathbb{C}^n$ auf $A$ und der simultane Übergang von der Standardbasis im $\mathbb{C}^m$ auf $B$ “bewirkt”, daß man $L$ ersetzt durch $\hat L=B^{-1}LA$. Ein Vektor $\hat y=A^{-1}y$ wird also durch die zuerst wirkende Matrix $A$ umgeformt in Standardkoordinaten, danach wirkt wie üblich $L$, und $B^{-1}$ führt zur gewünschten Koordinatendarstellung im Zielraum $\mathbb{C}^m$.

2. Beispiel: Im Falle $B=A$ hat man $\hat L=A^{-1}LA$, bzw. im Falle $B=I$ einfach nur $\hat L=LA$. Wäre lediglich $A=I$ so $\hat L=B^{-1}L$.

Umgekehrt kann die Ersetzung der Matrix $L$ durch $A^{-1}LA$ gedeutet werden, als ein Übergang von der Standardbasis auf die Basis $A$, z.B. $L\to XJY=XJX^{-1}$, bzw. $J\to X^{-1}LX$. D.h., beim Übergang von der Standardbasis auf eine Jordanbasis (gegeben durch die Rechtshauptvektoren $X$), hat dann die Matrix $L$ die bekannte Jordansche Normalform.

Eine Anwendung der Jordanschen Normalform, bzw. der Schurschen Normalform, ist der Äquivalenzsatz für äquivalente Matrizen.

3. Definition: (1) Zwei Matrizen $A,B\in\mathbb{C}^{m\times n}$, heißen äquivalent, wenn $A=RBS$, mit invertierbarer $(m\times m)$-Matrix $R$ und invertierbarer $(n\times n)$-Matrix $S$.

(2) Zwei Matrizen $A,B\in\mathbb{C}^{n\times n}$ heißen ähnlich, falls $A=SBS^{-1}$, mit invertierbarer Matrix $S$.

Ähnlichkeit zweier Matrizen heißt nichts anderes, als Übergang zu einer anderen Basis. Der nächste Satz sagt, daß Äquivalenz zweier Matrizen nur eine Ranginvariante ist, sonst nichts.

4. Satz: (1) Zu jeder Matrix $A\in\mathbb{C}^{m\times n}$ existieren invertierbare Matrizen $R\in\mathbb{C}^{m\times m}$ und $S\in\mathbb{C}^{n\times n}$, sodaß

$$ RAS = \mathop{\rm diag}(1,\ldots,1,0,\ldots,0), $$

wobei die Anzahl der Einsen gleich $\mathop{\rm rank} A$ ist.

(2) Zwei Matrizen $A,B\in\mathbb{C}^{m\times n}$ sind genau dann äquivalent, wenn sie den gleichen Rang haben.

Beweis: Entweder über das Gaußsche Eliminationsverfahren mit Zeilen- und Spaltenvertauschungen oder über Jordansche oder Schursche Normalform. (2) folgt sofort aus (1). ☐

Eine weitere Anwendung hiervon ist

5. Satz: $A\in\mathbb{C}^{m\times n}$ hat den genauen Rang $r$ ($0\le r\le\min(m,n)$) $\iff$ es gibt mindestens einen nicht verschwindenden Minor der Ordnung $r$, sämtliche Minoren der Ordnung $r+1,r+2,\ldots,\min(m,n)$ verschwinden.

Beweis: Folgt sofort aus

$$ \left(\mathop{\rm diag}(1,\ldots,1,0,\ldots,0)\right)\multisubsup sik = (RAS)\multisubsup sik. $$

☐

3. Kronecker-Produkt

1. Definition: Sei $A\in\mathbb{C}^{m\times m}$ und $B\in\mathbb{C}^{n\times n}$. Dann heißt

$$ A\otimes B = \pmatrix{ a_{11}B & \ldots & a_{1m}B\cr \vdots & \ddots & \vdots\cr a_{m1}B & \ldots & a_{mm}B\cr } \in \mathbb{C}^{mn\times mn}, $$

also

$$ a_{k\ell} = a_{ri} b_{sj} \qquad k=(r-1)n+s,\quad \ell=(i-1)n+j. $$

das Kronecker-Produkt oder direktes Produkt von $A$ und $B$.