什么是张量

张量（Tensor）是数学和物理学中的一个重要概念，用于描述多维数据和多线性关系。张量在工程、计算机科学、机器学习、物理学（特别是广义相对论）等多个领域中有广泛的应用。本文将详细介绍张量的定义、分类、表示方法、运算规则以及在各个领域中的应用。

一、张量的基本定义

1. 标量、向量与矩阵

在理解张量之前，先回顾一下标量、向量和矩阵的概念：

标量（Scalar）：零阶张量，表示一个单一的数值，例如温度、质量等。

s=5

s = 5

s=5

向量（Vector）：一阶张量，表示有方向和大小的量，例如速度、力等。

v=(v1v2v3)

\mathbf{v} = \begin{pmatrix} v_1 \\ v_2 \\ v_3 \end{pmatrix}

v=​v1​v2​v3​​​

矩阵（Matrix）：二阶张量，表示二维数据或线性变换，例如旋转矩阵、协方差矩阵等。

A=(a11a12⋯a1na21a22⋯a2n⋮⋮⋱⋮am1am2⋯amn)

\mathbf{A} = \begin{pmatrix}

a_{11} & a_{12} & \cdots & a_{1n} \\

a_{21} & a_{22} & \cdots & a_{2n} \\

\vdots & \vdots & \ddots & \vdots \\

a_{m1} & a_{m2} & \cdots & a_{mn}

\end{pmatrix}

A=​a11​a21​⋮am1​​a12​a22​⋮am2​​⋯⋯⋱⋯​a1n​a2n​⋮amn​​​

2. 张量的定义

张量是一个多维数组，能够表示多维数据和复杂的多线性关系。更正式地，张量是一个多重线性映射，可以看作是向量空间的多线性函数。张量的阶（或称为阶数、秩）表示其维度的数量：

零阶张量：标量。一阶张量：向量。二阶张量：矩阵。三阶及以上张量：多维数组。

3. 张量的阶（Rank）

张量的阶（rank）指的是其所需的索引数量。例如：

零阶张量：一个数，需要零个索引。

一阶张量：一个向量，需要一个索引。

二阶张量：一个矩阵，需要两个索引。

三阶张量：一个三维数组，需要三个索引。

Tijk(其中 i,j,k 是索引)

T_{ijk} \quad (\text{其中 } i, j, k \text{ 是索引})

Tijk​(其中 i,j,k 是索引)

二、张量的表示方法

1. 组件表示

张量可以通过其在特定基底下的组件来表示。例如，一个二阶张量（矩阵）可以表示为：

A=(a11a12a21a22)

\mathbf{A} = \begin{pmatrix}

a_{11} & a_{12} \\

a_{21} & a_{22}

\end{pmatrix}

A=(a11​a21​​a12​a22​​)

一个三阶张量可以表示为一个包含多个矩阵的数组：

T=((t111t112t121t122),(t211t212t221t222))

\mathbf{T} = \begin{pmatrix}

\begin{pmatrix}

t_{111} & t_{112} \\

t_{121} & t_{122}

\end{pmatrix},

\begin{pmatrix}

t_{211} & t_{212} \\

t_{221} & t_{222}

\end{pmatrix}

\end{pmatrix}

T=((t111​t121​​t112​t122​​),(t211​t221​​t212​t222​​)​)

2. 符号表示

张量通常用大写字母表示，组件用小写字母加上下标表示。例如，三阶张量可以表示为 T\mathbf{T}T，其组件为 TijkT_{ijk}Tijk​。

三、张量的运算

1. 张量加法

相同阶的张量可以进行逐元素加法。例如，两个二阶张量 A\mathbf{A}A 和 B\mathbf{B}B 的和为：

C=A+B其中 Cij=Aij+Bij

\mathbf{C} = \mathbf{A} + \mathbf{B} \quad \text{其中 } C_{ij} = A_{ij} + B_{ij}

C=A+B其中 Cij​=Aij​+Bij​

2. 标量乘法

张量可以与标量相乘，结果是每个组件都乘以该标量。例如，标量 α\alphaα 乘以张量 A\mathbf{A}A：

B=αA其中 Bij=αAij

\mathbf{B} = \alpha \mathbf{A} \quad \text{其中 } B_{ij} = \alpha A_{ij}

B=αA其中 Bij​=αAij​

3. 张量乘法

张量乘法比向量和矩阵的乘法更为复杂，涉及到多维数组的索引匹配和求和。例如，两个二阶张量（矩阵） A\mathbf{A}A 和 B\mathbf{B}B 的乘积 C\mathbf{C}C 是：

Cik=∑j=1nAijBjk

C_{ik} = \sum_{j=1}^{n} A_{ij} B_{jk}

Cik​=j=1∑n​Aij​Bjk​

4. 张量积（Tensor Product）

张量积是将两个张量组合成一个更高阶张量的运算。例如，两个向量 u∈Rm\mathbf{u} \in \mathbb{R}^mu∈Rm 和 v∈Rn\mathbf{v} \in \mathbb{R}^nv∈Rn 的张量积是一个 m×nm \times nm×n 的矩阵：

T=u⊗v其中 Tij=uivj

\mathbf{T} = \mathbf{u} \otimes \mathbf{v} \quad \text{其中 } T_{ij} = u_i v_j

T=u⊗v其中 Tij​=ui​vj​

5. 收缩（Contraction）

收缩是指在张量乘法中对某些索引进行求和的操作，类似于矩阵乘法中的行列求和。例如，一个三阶张量 T\mathbf{T}T 与向量 v\mathbf{v}v 的收缩可以得到一个二阶张量：

Sij=∑k=1nTijkvk

S_{ij} = \sum_{k=1}^{n} T_{ijk} v_k

Sij​=k=1∑n​Tijk​vk​

四、张量的性质

1. 对称性

如果一个张量在交换某些索引时保持不变，则称该张量具有对称性。例如，三阶张量 T\mathbf{T}T 对所有 i,j,ki, j, ki,j,k 有 Tijk=Tjik=TikjT_{ijk} = T_{jik} = T_{ikj}Tijk​=Tjik​=Tikj​ 等，则 T\mathbf{T}T 是对称张量。

2. 反对称性

如果一个张量在交换某些索引时改变符号，则称该张量具有反对称性。例如，三阶张量 T\mathbf{T}T 对所有 i,j,ki, j, ki,j,k 有 Tijk=−TjikT_{ijk} = -T_{jik}Tijk​=−Tjik​，则 T\mathbf{T}T 是反对称张量。

3. 稠密与稀疏

稠密张量：大多数组件非零。稀疏张量：大多数组件为零，通常用于节省存储空间和计算资源。

五、张量在各领域的应用

1. 物理学

广义相对论：爱因斯坦引力场方程使用黎曼曲率张量来描述时空的弯曲。

Gμν+Λgμν=8πGc4Tμν

G_{\mu\nu} + \Lambda g_{\mu\nu} = \frac{8\pi G}{c^4} T_{\mu\nu}

Gμν​+Λgμν​=c48πG​Tμν​

其中，GμνG_{\mu\nu}Gμν​ 是爱因斯坦张量，TμνT_{\mu\nu}Tμν​ 是能量-动量张量。

力学中的应力张量：描述材料内部的应力状态。

2. 计算机科学与机器学习

深度学习：神经网络的权重和激活通常表示为多维张量，张量运算用于前向传播和反向传播。

W∈Rn×m×k,X∈Rm×p×q

\mathbf{W} \in \mathbb{R}^{n \times m \times k}, \quad \mathbf{X} \in \mathbb{R}^{m \times p \times q}

W∈Rn×m×k,X∈Rm×p×q

图像处理：图像可以看作是三阶张量（高度、宽度、颜色通道），进行卷积等操作。

3. 数据分析与统计

多变量统计分析：协方差矩阵和相关矩阵是二阶张量，用于描述变量之间的关系。

Σ=(σ11σ12⋯σ1nσ21σ22⋯σ2n⋮⋮⋱⋮σn1σn2⋯σnn)

\Sigma = \begin{pmatrix}

\sigma_{11} & \sigma_{12} & \cdots & \sigma_{1n} \\

\sigma_{21} & \sigma_{22} & \cdots & \sigma_{2n} \\

\vdots & \vdots & \ddots & \vdots \\

\sigma_{n1} & \sigma_{n2} & \cdots & \sigma_{nn}

\end{pmatrix}

Σ=​σ11​σ21​⋮σn1​​σ12​σ22​⋮σn2​​⋯⋯⋱⋯​σ1n​σ2n​⋮σnn​​​

4. 工程学

材料科学：应力和应变被表示为张量，描述材料在不同方向上的响应。

σij,ϵij

\sigma_{ij}, \quad \epsilon_{ij}

σij​,ϵij​

5. 图像识别与自然语言处理

张量分解：用于降维和特征提取，例如在推荐系统中对用户-项目-时间数据进行张量分解。

六、张量的数学工具

1. 张量分解

张量分解是将高阶张量分解为低阶张量的乘积，常用于数据压缩、降维和模式识别。常见的张量分解方法包括：

CP分解（CANDECOMP/PARAFAC）：将张量分解为若干个向量的张量积。

T≈∑r=1Rar⊗br⊗cr

\mathbf{T} \approx \sum_{r=1}^{R} \mathbf{a}_r \otimes \mathbf{b}_r \otimes \mathbf{c}_r

T≈r=1∑R​ar​⊗br​⊗cr​

Tucker分解：将张量分解为核心张量与多个因子矩阵的乘积。

T≈G×1A×2B×3C

\mathbf{T} \approx \mathbf{G} \times_1 \mathbf{A} \times_2 \mathbf{B} \times_3 \mathbf{C}

T≈G×1​A×2​B×3​C

2. 张量运算库

在编程和计算中，常用的张量运算库包括：

TensorFlow：广泛用于深度学习，支持自动微分和分布式计算。PyTorch：灵活的张量运算库，适用于研究和生产环境。NumPy：虽然主要用于数组运算，但也支持基本的张量操作。Tensorly：专注于张量分解和多线性代数的Python库。

七、张量的实例分析

示例1：二维张量（矩阵）的运算

题目：设有两个二维张量（矩阵） A\mathbf{A}A 和 B\mathbf{B}B，计算它们的乘积 C=AB\mathbf{C} = \mathbf{A} \mathbf{B}C=AB。

A=(1234),B=(5678)

\mathbf{A} = \begin{pmatrix}

1 & 2 \\

3 & 4

\end{pmatrix}, \quad \mathbf{B} = \begin{pmatrix}

5 & 6 \\

7 & 8

\end{pmatrix}

A=(13​24​),B=(57​68​)

解答：

C=AB=(1⋅5+2⋅71⋅6+2⋅83⋅5+4⋅73⋅6+4⋅8)=(19224350)

\mathbf{C} = \mathbf{A} \mathbf{B} = \begin{pmatrix}

1 \cdot 5 + 2 \cdot 7 & 1 \cdot 6 + 2 \cdot 8 \\

3 \cdot 5 + 4 \cdot 7 & 3 \cdot 6 + 4 \cdot 8

\end{pmatrix} = \begin{pmatrix}

19 & 22 \\

43 & 50

\end{pmatrix}

C=AB=(1⋅5+2⋅73⋅5+4⋅7​1⋅6+2⋅83⋅6+4⋅8​)=(1943​2250​)

示例2：三阶张量的张量积

题目：设有两个一阶张量（向量） u=(u1u2)\mathbf{u} = \begin{pmatrix} u_1 \\ u_2 \end{pmatrix}u=(u1​u2​​) 和 v=(v1v2v3)\mathbf{v} = \begin{pmatrix} v_1 \\ v_2 \\ v_3 \end{pmatrix}v=​v1​v2​v3​​​，计算它们的张量积 T=u⊗v\mathbf{T} = \mathbf{u} \otimes \mathbf{v}T=u⊗v。

解答：

T=u⊗v=(u1v1u1v2u1v3u2v1u2v2u2v3)

\mathbf{T} = \mathbf{u} \otimes \mathbf{v} = \begin{pmatrix}

u_1 v_1 & u_1 v_2 & u_1 v_3 \\

u_2 v_1 & u_2 v_2 & u_2 v_3

\end{pmatrix}

T=u⊗v=(u1​v1​u2​v1​​u1​v2​u2​v2​​u1​v3​u2​v3​​)

具体计算结果为：

T=(u1v1u1v2u1v3u2v1u2v2u2v3)

\mathbf{T} = \begin{pmatrix}

u_1 v_1 & u_1 v_2 & u_1 v_3 \\

u_2 v_1 & u_2 v_2 & u_2 v_3

\end{pmatrix}

T=(u1​v1​u2​v1​​u1​v2​u2​v2​​u1​v3​u2​v3​​)

示例3：张量分解

题目：对一个三阶张量 T∈R2×2×2\mathbf{T} \in \mathbb{R}^{2 \times 2 \times 2}T∈R2×2×2 进行CP分解，假设分解秩 R=2R = 2R=2。

解答：

设 T\mathbf{T}T 的CP分解为：

T≈∑r=12ar⊗br⊗cr

\mathbf{T} \approx \sum_{r=1}^{2} \mathbf{a}_r \otimes \mathbf{b}_r \otimes \mathbf{c}_r

T≈r=1∑2​ar​⊗br​⊗cr​

具体步骤：

初始化因子矩阵 A=[a1,a2]∈R2×2\mathbf{A} = [\mathbf{a}_1, \mathbf{a}_2] \in \mathbb{R}^{2 \times 2}A=[a1​,a2​]∈R2×2，B=[b1,b2]∈R2×2\mathbf{B} = [\mathbf{b}_1, \mathbf{b}_2] \in \mathbb{R}^{2 \times 2}B=[b1​,b2​]∈R2×2，C=[c1,c2]∈R2×2\mathbf{C} = [\mathbf{c}_1, \mathbf{c}_2] \in \mathbb{R}^{2 \times 2}C=[c1​,c2​]∈R2×2。通过优化算法（如交替最小二乘法）迭代更新因子矩阵，使得 T\mathbf{T}T 与分解后的张量尽可能接近。得到最终的因子矩阵，完成CP分解。

八、张量的挑战与前沿

1. 高阶张量的计算复杂性

随着张量阶数和维度的增加，计算和存储的复杂性急剧上升。这在大规模数据分析和深度学习中尤为突出，需要高效的算法和并行计算资源。

2. 张量的表示学习

在机器学习中，如何有效地学习和表示高阶张量数据（如图像、视频、文本）是一个重要研究方向。张量网络和深度张量学习方法正在积极探索中。

3. 张量在量子计算中的应用

量子计算中的多体系统可以用张量网络来描述，研究张量在量子态表示和量子算法中的应用具有重要意义。

九、总结

张量作为一个多维数组和多线性映射的数学工具，广泛应用于多个学科领域。理解张量的定义、分类、表示方法和运算规则，是掌握高阶数学和应用数学的基础。随着数据维度和复杂性的增加，张量在数据分析、机器学习、物理建模等领域的应用将更加深入和广泛。