内積-あるノマドの知の旅路～数学・統計学への道

本稿では、内積を紹介しています。

なお、閲覧にあたっては、以下の点にご注意ください。

スマートフォンやタブレット端末でご覧の際、数式が見切れている場合は、横にスクロールすることができます。

ベクトルの内積

内積

$R^{n}$ のベクトル $a, b$ に対し、実数 $(a, b)$ が定まって、次の4条件が成り立つとき、 $(a, b)$ を $a$ と $b$ の内積 inner product という。

【定義】
内積の条件
Definition of Inner Product

① $\begin{matrix} (a, b) = (b, a) \end{matrix}$ ② $\begin{matrix} (a + b, c) = (a, c) + (a, b) \end{matrix}$ ③ $\begin{matrix} (k a, b) = k (a, b) k \in R \end{matrix}$ ④ $\begin{matrix} 0 \leq (a, a) and (a, a) = 0 \Leftrightarrow a = 0 \end{matrix}$

内積の定義されたベクトル空間 $R^{n}$ を内積空間という。

ベクトルの大きさ

内積空間においては条件④より、 $(a, a)$ はつねに負でない実数である。 $\begin{matrix} | | a | | = \sqrt{(a, a)} \end{matrix}$ をベクトル $a$ の大きさ（または長さ、ノルム norm）という。

標準内積

いま、 $R^{n}$ のベクトル $\begin{matrix} a = (\begin{matrix} a_{1} \\ a_{2} \\ ⋮ \\ a_{n} \end{matrix}) b = (\begin{matrix} b_{1} \\ b_{2} \\ ⋮ \\ b_{n} \end{matrix}) \end{matrix}$ に対して $\begin{matrix} (a, b) = a^{T} b = \sum_{i = 1}^{n} a_{i} b_{i} \end{matrix}$ を $R^{n}$ の標準内積という。標準内積においては $\begin{matrix} | | a | | = \sqrt{a_{1}^{2} + a_{2}^{2} + \dots + a_{n}^{2}} \end{matrix}$ である。

ベクトルの大きさの性質

【定理】
ベクトルの大きさの性質
Properties of the Magnitude of a Vector

① $\begin{matrix} 0 \leq | | a | | and | | a | | = 0 \Leftrightarrow a = 0 \end{matrix}$ ② $\begin{matrix} | | a | | = | k | | | a | | k \in R \end{matrix}$ ③シュワルツの不等式 $\begin{matrix} | (a, b) | \leq | | a | | | | b | | \end{matrix}$ ④三角不等式 $\begin{matrix} | | a + b | | \leq | | a | | + | | b | | \end{matrix}$

なす角・直交

内積空間 $R^{n}$ において、 $a, b$ がともに零ベクトルでないとき、シュワルツの不等式から $\begin{matrix} - 1 \leq \frac{(a, b)}{| | a | | | | b | |} \leq 1 \end{matrix}$ が成り立つ。よって $\begin{matrix} \frac{(a, b)}{| | a | | | | b | |} = \cos θ 0 \leq θ \leq π \end{matrix}$ を満たす $θ$ がただ1つ有在する。この $θ$ をベクトル $a$ と $b$ のなす角という。

$a, b$ がともに零ベクトルでなくて $(a, b) = 0$ ならば、上式より $\begin{matrix} \cos θ = 0 \Rightarrow θ = \frac{π}{2} \end{matrix}$ $a, b$ のどちらかが零ベクトルの場合には、内積の条件からつねに $\begin{matrix} (a, b) = 0 \end{matrix}$ となる。

$a, b$ が零ベクトルであるとないとにかかわらず、 $(a, b) = 0$ のとき、 $a$ と $b$ は互いに直交する（垂直である）ということにし、 $\begin{matrix} a ⊥ b \end{matrix}$ と書く。

正規化

零でないベクトル $a$ をその大きさで割って、大きさ1のベクトル $\begin{matrix} \frac{1}{| | a | |} a \end{matrix}$ にすることを正規化する normalize という。

正規直交系

内積空間 $R^{n}$ のベクトルの組 $a_{1}, a_{2}, \dots, a_{r}$ がすべて大きさ1で（すなわち、正規化されていて）かつどの2つも互いに直交するとき、いいかえると $\begin{matrix} (a_{i}, a_{j}) = 0 i \neq j \end{matrix}$ が成り立つとき $\begin{matrix} {a_{1}, a_{2}, \dots, a_{r}} \end{matrix}$ は正規直交系 orthonormal system であるという。

正規直交系の1次独立性

【定理】
正規直交系の1次独立性
Linear Independence of Orthogonal Vectors

正規直交系をなすベクトルの組は1次独立である。

直交補空間

$R^{n}$ の部分空間 $W$ が与えられたとき、別の部分空間 $W^{'}$ をうまく見つけて、 $W$ と $W^{'}$ の直和を $R^{n}$ 全体にすることを考える（このような $W^{'}$ を $W$ の補空間 complementary space という）。

直交補空間

$W$ を内積空間 $R^{n}$ の部分空間とし、 $a$ を $R^{n}$ のベクトルとする。 $a$ が $W$ に属するすべてのベクトルに直交するとき、 $a$ は $W$ に直交するといい、 $\begin{matrix} a ⊥ W \end{matrix}$ と書く。

ベクトルと部分空間との直交条件

【定理】
ベクトルと部分空間との直交条件

$W$ を内積空間 $R^{n}$ の $r$ 次元部分空間とする。 $R^{n}$ のベクトル $b$ が $W$ と直交するための必要十分条件は、 $b$ が $W$ の基底 $\begin{matrix} {a_{1}, a_{2}, \dots, a_{r}} \end{matrix}$ の各ベクトルと直交することである。

$W$ に直交するベクトル $x$ 全体の集合 $\begin{matrix} {x \in R^{n} | x ⊥ W} \end{matrix}$ は $R^{n}$ の部分空間となる。これを $\begin{matrix} W^{⊥} \end{matrix}$ と表す。 $W^{⊥}$ を $W$ の直交補空間 orthogonal complement という。

正射影

【定理】
正射影
Orthogonal Projection

内積空間 $R^{n}$ の ${o}$ でない部分空間 $W$ に対して $\begin{matrix} R^{n} = W \oplus W^{⊥} \end{matrix}$ が成り立つ。したがって、任意の $a \in R^{n}$ は $\begin{matrix} a = b + c b \in W, c \in W^{⊥} \end{matrix}$ の形に一意的に表せる。このとき、 $b$ を $a$ の $W$ への正射影 orthogonal projection という。

直交行列と内積

直交行列

実正方行列 $A$ が $\begin{matrix} A A^{T} = A^{T} A = E \end{matrix}$ を満たすとき、 $A$ を直交行列 orthogonal matrix という。

直交行列と正規直交基底

【定理】
直交行列と正規直交基底
Orthogonal Matrix and Orthonormal Basis

正方行列 $\begin{matrix} A = (a_{i j}) = (\begin{matrix} a_{1} & a_{2} & \dots & a_{n} \end{matrix}) \end{matrix}$ について、次は同値である。 ① $A$ は直交行列
② $A$ の列ベクトル ${a_{1}, a_{2}, \dots, a_{n}}$ は $R^{n}$ の正規直交基底をなす。

直交行列の定める線形変換

【定理】
直交行列の定める線形変換と内積
Orthogonal Transformation

$A$ を直交行列とし、 $f$ を $A$ の定める線形変換 $\begin{matrix} f (x) = A x \end{matrix}$ とすれば、 $f$ は $R^{n}$ の標準内積を変えない、すなわち、 $R^{n}$ のどんなベクトル $x, y$ に対しても $\begin{matrix} (f (x), f (y)) = (x, y) \end{matrix}$

証明

$\begin{aligned} (f (x), f (y)) & = (A x, A y) \\ = {(A x)}^{T} A y \\ = x^{T} A^{T} A y \\ = x^{T} y \\ = (x, y) \end{aligned}$ $◼$

ベクトルの大きさとなす角は内積から定まるから、内積を変えないならば、大きさとなす角も変えない。よって、直交行列の定める線形変換は、大きさもなす角も変えない変換、すなわち合同変換である。

参考文献

村上正康, 佐藤恒雄, 野澤宗平, 稲葉尚志共著. 教養の線形代数. 培風館, 2016, p.117-127
馬場敬之著. 線形代数キャンパス・ゼミ. 改訂8, マセマ出版社, 2020, p.186-193

内積

ベクトルの内積