模型

从工程视角理解 AI 模型的基本构成，以及模型、架构、参数、权重、配置和 Tokenizer 等核心概念之间的关系。

• 模型是一套能够根据输入计算输出的数学系统。它的架构规定了如何计算，参数的具体数值则通过训练获得。
• 架构像一套预先设计好的计算框架，权重是训练过程中填入其中的大量数值；两者结合，才形成一个具备具体能力的模型。

从整体流程理解 AI 模型如何通过数据和训练获得能力，以及 Dataset、Training、Pretraining、Fine-tuning、Loss 和 Checkpoint 等核心概念之间的关系。

• 模型训练，就是让模型反复处理训练数据，根据输出与目标之间的误差，不断调整参数，使模型逐渐学会完成某类任务的过程。
• 模型一开始只有确定的架构和大量初始参数。训练程序不断给它输入数据、计算误差并调整参数，最终得到一组能够产生有用输出的权重。

从推理流程理解 AI 模型如何处理输入并生成输出，以及 Tokenizer、Token、Embedding、Forward Pass、Logits、Sampling 和 Context Window 等核心概念之间的关系。

• 输入处理：把人类输入转换成模型能够计算的数字；
• 自回归生成：一次预测一个 Token，不断形成最终输出。

从工程视角理解 AI 模型如何从内存中的参数和训练状态保存为文件，以及权重、配置、Tokenizer、Chat Template 和 Model Card 等资源如何组织并发布为模型仓库。

• 训练过程产生的是内存中的参数和训练状态；为了能够暂停训练、分发模型和执行推理，需要将这些内容序列化为文件，并与配置、Tokenizer、说明文档等资源一起发布。
• 训练时，模型的参数以 Tensor 的形式存在于内存或显存中。

从运行时视角理解 AI 模型如何从文件加载到内存和显存并执行推理，以及 Inference Engine、CPU、RAM、GPU、VRAM、精度、量化、Offload 和 KV Cache 等核心概念之间的关系。

• 加载模型，读取文件、创建结构、分配内存、放置权重；
• 执行推理，处理输入、运行模型计算、逐个生成 Token。