# Tensor

Yao Yao on September 4, 2018

## 1. 预备知识：covector

• linear functional
• linear form
• one-form
• covector

• $f(\mathbf{v} + \mathbf{w}) = f(\mathbf{v}) + f(\mathbf{w}), \forall \mathbf{v}, \mathbf{w} \in V$
• $f(a\mathbf{v}) = a f(\mathbf{v}), \forall \mathbf{v} \in V, \forall a \in K$

• $Hom$ 的意思是 “homomorphism”, a transformation of one set, say $A$, into another, say $A’$, that the relations between elements of $A$ are preserved in $A’$.
• 换个角度考虑，vector 可以看做一个 $g: K \to V$，但是研究这个似乎没有意义

## 2. 预备知识：Einstein summation convention

$\mathbf{v} = \sum_{i=1}^{n} v_i \mathbf{e}_i$

• $\mathbf{e}_1 = [1 \, 0 \, 0 \, \dots \, 0]^T \in \mathbb{R}^n$
• $\mathbf{e}_2 = [0 \, 1 \, 0 \, \dots \, 0]^T \in \mathbb{R}^n$
• $\dots$
• $\mathbf{e}_n = [0 \, 0 \, 0 \, \dots \, 1]^T \in \mathbb{R}^n$

$\mathbf{v} = v_i \mathbf{e}_i$

$\mathbf{w}^T = w^i \mathbf{e}^i$

• $\mathbf{e}^1 = [1 \, 0 \, 0 \, \dots \, 0]$
• $\mathbf{e}^2 = [0 \, 1 \, 0 \, \dots \, 0]$
• $\dots$
• $\mathbf{e}^n = [0 \, 0 \, 0 \, \dots \, 1]$

## 3. 预备知识：Banach space / Vector space from continuous $n$-linear maps

Wikipedia: Banach space

… a Banach space (pronounced [ˈbanax]) is a complete normed vector space. Thus, a Banach space is a vector space with a metric that allows the computation of vector length and distance between vectors and is complete in the sense that a Cauchy sequence of vectors always converges to a well defined limit that is within the space.

Let $V, K, \dots$ denote Banach spaces. We define $L^n(V_1, \dots, V_n; K)$ denotes the vector space of continuous $n$-linear maps of $V_1 \times \dots \times V_n \to K$.

• 这里 $V_i \times V_j$ 的 $\times$ 是 cartesian product，也就是说：$f: V_1 \times \dots \times V_n \to K$ 是一个函数，它接收一个 $n$-tuple of vectors，返回一个 $K$ 的元素
• 即 $f(\mathbf{v}_1, \dots, \mathbf{v}_n) = k$ 其中 $\mathbf{v}_i \in V_i, k \in K$
• $f: V_1 \times \dots \times V_n \to \mathbb{R}$ 可以理解成一个 $n$-tuple of covectors，比如 $(\mathbf{w}_1^T, \dots, \mathbf{w}_n^T)$，因为我们可以定义 $f(\mathbf{v}_1, \dots, \mathbf{v}_n) = \prod_{i=1}^{n} \mathbf{w}_i^T \mathbf{v}_i = a \in \mathbb{R}$。
• 这么一来，$L^n(V_1, \dots, V_n; \mathbb{R})$ 其实是一个 “元素为 $n$-tuple of covectors” 的 space。但是你结合 Digest of Essence of Linear Algebra 最后的部分，”$n$-tuple of covectors” 满足 vector addition and scaling 的 8 条 axioms，所以可以看做一个 generalized 的 vector；换言之，$L^n(V_1, \dots, V_n; \mathbb{R})$ 也就是一个 generalized 的 vector space

## 4. Tensor Space / Rank

For a vector space $V$, we define:

$T_{s}^{r}(V) = L^{r+s}(\underbrace{V^{\ast}, \dots, V^{\ast}}_{r}, \underbrace{V, \dots, V}_{s}; \mathbb{R})$

Elements of $T_{s}^{r}(V)$ are called tensors on $V$, contravariant of order $r$ and covariant of order $s$; or simply, of type $(r, s)$.

Special cases:

• $T^0_0(V) = \mathbb{R}$
• $T^1_0(V) = L(V^{\ast}; \mathbb{R}) = V$
• $T^2_0(V) = L(V^{\ast}, V^{\ast}; \mathbb{R}) = L(V^{\ast}; V)$
• $T^0_1(V) = L(V; \mathbb{R}) = V^{\ast}$
• $T^0_2(V) = L(V, V; \mathbb{R}) = L(V; V^{\ast})$
• $T^1_1(V) = L(V^{\ast}, V; \mathbb{R}) = L(V; V) = L(V^{\ast}; V^{\ast})$

• 0 阶 tensor 是 scalar
• 1 阶 tensor 是 vector/covector
• 2 阶 tensor 中只有 $T^1_1(V)$ 是 matrix
• 即你只能说 matrix 是 2 阶 tensor；不能说 2 阶 tensor 都是 matrix
• 仔细考虑一下，其实所有 $2n$ 阶的 $T^n_n(V)$ 都是 matrix，见 6.2 的讨论
• 当然这里说的都是 2-D 的实数 matrix

## 5. Tensor

• 从函数的角度来看，$V^{\ast}$ 和 $V$ 的顺序其实是可以打乱的，也可以是交错的；但为了研究起来方便，tensor 的定义强制要求了这个 “连续 $V^{\ast}$ 再连续 $V$” 的顺序

$f(\mathbf{w}_1^T, \dots, \mathbf{w}_r^T, \mathbf{v}_1, \dots, \mathbf{v}_s) = \prod_{i=1}^{r} \mathbf{w}_i^T \mathbf{p}_i \times \prod_{i=1}^{s} \mathbf{q}_i^T \mathbf{v}_i = a \in \mathbb{R}$

## 6. Tensor Product Operator

1. 两个 tensor space over vector space $V$, $\Theta_1$ 和 $\Theta_2$ 的 tensor product $\Theta_1 \otimes \Theta_2$ 仍然是一个 tensor over vector space $V$
• 考虑特殊情况：假设 $V$ 和 $W$ 都是 vector space (i.e. $T^1_0(V)$) over field $K$，那么 $V \otimes_K W$ 仍然是一个 vector space over field $K$
2. 两个 tensor, $t_1$ 和 $t_2$ 的 tensor product $t_1 \otimes t_2$ 仍然是一个 tensor
• 考虑特殊情况：vector/covector/matrix 之间也可以有 $\otimes$ 操作

### 6.1 用 $\otimes$ 表示 $L$

• 假定有 $f: \underbrace{V^{\ast} \times \dots \times V^{\ast}}_{r} \times \underbrace{V \times \dots \times V}_{s} \to \mathbb{R}$，则 $f \in T_{s}^{r}(V) = L^{r+s}(\underbrace{V^{\ast}, \dots, V^{\ast}}_{r}, \underbrace{V, \dots, V}_{s}; \mathbb{R})$
• 又:$f$ 可以看做一个 $(r+s)$-tuple of vectors/covectors $(\mathbf{p}_1, \dots, \mathbf{p}_r, \mathbf{q}_1^T, \dots, \mathbf{q}_s^T)$
• 我们可以写 $T_{s}^{r}(V) = \underbrace{V \otimes \dots \otimes V}_{r} \times \underbrace{V^{\ast} \otimes \dots \otimes V^{\ast}}_{s}$
• 注意这里 $V$、$V^{\ast}$ 的顺序和 $L$ 里是反的、和 $(r+s)$-tuple 是一致的

### 6.2 Rank of Tensor Product

$T_{s}^{r}(V) \otimes T_{s'}^{r'}(V) \to T_{s+s'}^{r+r'}(V)$ $(f_1 \otimes f_2)(\underbrace{\kappa,\ldots,\lambda,\mu,\ldots,\nu}_{r+r'},\underbrace{u,\ldots,v,w,\ldots,z}_{s+s'}) = f_1(\underbrace{\kappa,\ldots,\lambda}_r,\underbrace{u,\ldots,v}_s) \cdot f_2(\underbrace{\mu,\ldots,\nu}_{r'},\underbrace{w,\ldots,z}_{s'})$

• Wikipedia: Tensor product of linear maps 的例子，matrix 对应 tensor，matrix 的 Kronecker Product 对应 tensor product。两个 $2 \times 2$ matrix (看作 $T^1_1(V)$) 的 Kronecker Product 是一个 $4 \times 4$ matrix，按道理它应该是一个 $T^2_2(V)$。按照这个逻辑展开，所有的 $T_n^n(V)$ 都是 matrix
• 至于这个 matrix 本身的维度，要从 $V$ 的维度说起:
• 如果 $V \subseteq \mathbb{R}^m$，那么你的 $T^1_1(V)$ 应该是一个 $m \times m$ matrix (的集合)
• 不可能不是 square matrix，因为 $\dim V = \dim V^{\ast} = m$
• 按照 Kronecker Product 的算法，你的 $T^2_2(V)$ 应该是一个 $m^2 \times m^2$ matrix (的集合)
\begin{aligned} \begin{bmatrix} a_{1,1} & a_{1,2} \\ a_{2,1} & a_{2,2} \end{bmatrix} \otimes \begin{bmatrix} b_{1,1} & b_{1,2} \\ b_{2,1} & b_{2,2} \end{bmatrix} &= \begin{bmatrix} a_{1,1} \begin{bmatrix} b_{1,1} & b_{1,2} \\ b_{2,1} & b_{2,2} \end{bmatrix} & a_{1,2} \begin{bmatrix} b_{1,1} & b_{1,2} \\ b_{2,1} & b_{2,2} \end{bmatrix} \\ \\ a_{2,1} \begin{bmatrix} b_{1,1} & b_{1,2} \\ b_{2,1} & b_{2,2} \end{bmatrix} & a_{2,2} \begin{bmatrix} b_{1,1} & b_{1,2} \\ b_{2,1} & b_{2,2} \end{bmatrix} \end{bmatrix} \\ \\ &= \begin{bmatrix} a_{1,1} b_{1,1} & a_{1,1} b_{1,2} & \;\;\;\; a_{1,2} b_{1,1} & a_{1,2} b_{1,2} \\ a_{1,1} b_{2,1} & a_{1,1} b_{2,2} & \;\;\;\; a_{1,2} b_{2,1} & a_{1,2} b_{2,2} \\ \\ a_{2,1} b_{1,1} & a_{2,1} b_{1,2} & \;\;\;\; a_{2,2} b_{1,1} & a_{2,2} b_{1,2} \\ a_{2,1} b_{2,1} & a_{2,1} b_{2,2} & \;\;\;\; a_{2,2} b_{2,1} & a_{2,2} b_{2,2} \end{bmatrix} \end{aligned}

• $t \in T^1_1(V)$ 是一个 $1 \times 1$ meta-matrix，它只有一个元素，但是这个元素是一个 $m \times m$ matrix，所以它整体上是一个 $m \times m$ matrix
• 你也可以看成是 $m \times m$ 个 $s \in T^0_0(V)$
• $t \in T^2_2(V)$ 是一个 $m \times m$ meta-matrix，它的每个元素都是一个 $s \in T^1_1(V)$，所以它整体上是一个 $m^2 \times m^2$ matrix
• 你也可以看成是 $m^2 \times m^2$ 个 $s’ \in T^0_0(V)$
• 依此类推：
• $t \in T^n_n(V)$ 是一个 $m^{n-1} \times m^{n-1}$ meta-matrix，它的每个元素都是一个 $s \in T^1_1(V)$，所以它整体上是一个 $m^n \times m^n$ matrix
• 你也可以看成是 $m^n \times m^n$ 个 $s’ \in T^0_0(V)$
• 或者我们写成 $T_n^n(V) = (T_1^1(V))^{\otimes n}$，其中 “$\otimes n$ 次方” 定义为：$V^{\otimes n} \equiv \underbrace{V \otimes \dots \otimes V}_{n}$
• 明显 $T_n^n(V) \otimes T_0^0(V) = T_n^n(V)$
• 考虑不规则的情况：
• 若 $p > q$，则 $t \in T^p_q(V)$ 是一个 $m^{q} \times m^{q}$ meta-matrix，它的每个元素都是一个 $s \in T^{p-q}_0(V)$
• 若 $p < q$，则 $t \in T^p_q(V)$ 是一个 $m^{p} \times m^{p}$ meta-matrix，它的每个元素都是一个 $s \in T^0_{q-p}(V)$

### 6.3 $T^0_0(V) = \mathbb{R}$ 的特殊性

$f_1 \otimes f_2: V \otimes W \to X \otimes Y$

$(f_1 \otimes f_2)(\mathbf{v} \otimes \mathbf{w}) = f_1(\mathbf{v}) \otimes f_2(\mathbf{w})$