|
博主最近比较闲，帮同学们精心整理一份面向 2025年校招/社招 的大模型（LLM）面试“八股文”及高频考点梳理。 这份资料不仅涵盖了经典基础，更重点加入了 2025年可能考察的前沿技术（如MoE、Agent、多模态、推理等），帮助你应对更高阶的面试挑战。
我们将内容分为六大模块，由浅入深，层层递进。 模块一：基础核心与Transformer架构这是所有问题的基石，必须倒背如流。 01.Transformer的核心结构 自注意力机制（Self-Attention） 手写Attention公式：Attention(Q, K, V) = softmax(QK^T / √d_k) V 为什么需要缩放（除以√d_k）？ 防止点积结果过大，导致softmax梯度消失。 Self-Attention vs. CNN vs. RNN 的优缺点？ CNN：局部感知，并行效率高，但长距离依赖弱。 RNN：序列建模，但并行能力差，易梯度消失/爆炸。 Self-Attention：全局建模，并行度高，但计算和内存复杂度高（O(n²)）。 多头注意力（Multi-Head Attention） 为什么比单头好？ 允许模型同时关注来自不同位置的不同表示子空间的信息，增强了模型的表达能力。 位置编码（Positional Encoding） 为什么需要？ Transformer本身没有位置信息，需要显式注入。 绝对位置编码（正弦/学习式） vs. 相对位置编码（如RoPE, T5 Bias）： RoPE（旋转位置编码）：现在是LLM的主流，通过旋转矩阵将位置信息编码到注意力计算中，具有良好的外推性（ extrapolation）。 残差连接（Residual Connection）与层归一化（LayerNorm） 作用：缓解梯度消失，加速训练，稳定网络。 02.LLM的核心训练流程 预训练（Pre-training）：在海量无标注文本上进行自回归（Autoregressive, AR, 如GPT） 或自编码（Autoencoding, AE, 如BERT） 学习。 有监督微调（SFT, Supervised Fine-Tuning）：在指令数据上微调，教会模型遵循指令。 奖励模型训练（Reward Modeling, RM）：训练一个模型来评判回答的好坏（偏人类偏好）。 强化学习优化（RLHF, Reinforcement Learning from Human Feedback） 核心思想：使用RM作为奖励信号，用PPO等强化学习算法进一步优化SFT模型，使其输出更符合人类偏好。 PPO（Proximal Policy Optimization）的作用：在策略更新时避免太大的步幅，保证训练稳定性。 DPO（Direct Preference Optimization） 为什么出现？ 绕过了训练不稳定的RM模型和复杂的PPO步骤，直接在偏好数据上优化策略，更简单更稳定。是2024-2025年的重点。 模块二：模型架构演进与高效化01.主流大模型架构 仅解码器（Decoder-Only）：如GPT系列、LLaMA。当前生成式LLM的绝对主流。 编码器-解码器（Encoder-Decoder）：如T5、BART。适合条件生成任务（如翻译、摘要）。 前缀解码器（Prefix Decoder）：如GLM。统一了AR和AE的思想。 02.核心演进技术 SwiGLU / GELU 激活函数：相比ReLU效果更好，成为LLM标配。 RMSNorm：简化了LayerNorm，去除了均值中心化，效果相当但计算更高效。 Flash Attention 原理：通过分块计算和在线softmax技巧，将显存复杂度从O(n²)降低到O(n)，极大加速了Attention计算并节省显存。必考。 03.高效参数模型：MoE (Mixture of Experts) 核心思想：将大模型分解为多个“专家”（小FFN），每个Token由门控网络（Gating Network） 选择少数几个专家（如Top-2）进行计算。 优势：在极大增加参数量（如万亿）的同时，保持计算量（FLOPs）和推理速度与稠密模型相近（如Mixtral 8x7B）。 挑战：专家负载均衡、训练稳定性、通信开销。这是2025年面试的重中之重。 针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓
01.推理加速技术 解码策略： Greedy Search：贪心，简单但容易重复。 Beam Search：集束搜索，保留多个候选，适合目标明确的生成（如翻译）。 Sampling（采样）： Temperature：控制随机性。T->0接近贪心，T->1更随机。 Top-k / Top-p (Nucleus) Sampling：从最可能的k个或累积概率达到p的token中采样，保证质量的同时增加多样性。 KV Cache 是什么？ 在生成过程中缓存当前序列之前所有位置的Key和Value，避免重复计算。 为什么能加速？ 将生成过程的复杂度从O(n³)降低到O(n²)。 代价：需要额外显存（Sequence Length * Batch Size * Num Layers * Hidden Size * 2）。 02.模型量化（Quantization） 目的：将FP16/BF16的模型权重和激活值转换为低精度（如INT8/INT4/FP8），减少显存占用和加速推理。 常见方法： 训练后量化（PTQ）：简单快速，但可能有精度损失。 量化感知训练（QAT）：在训练中模拟量化过程，获得更高精度。 AWQ vs. GPTQ： GPTQ：一种高效的PTQ方法，逐层对权重进行量化校准。 AWQ：认为“权重并非同等重要”，通过激活值来寻找并保护那些重要的权重（Salient Weights），在不增加计算量的前提下获得更好效果。 03.其他优化技术 投机采样（Speculative Sampling）：用小模型（Draft Model）先草拟生成多个token，再用大模型（Target Model）一次性验证，加速效果明显。 模型剪枝（Pruning）：移除不重要的权重或神经元。 模块四：应用与生态01.大模型应用范式（Patterns） 零样本（Zero-Shot）：直接给指令，不提供例子。 少样本（Few-Shot） / 上下文学习（In-Context Learning, ICL）：在Prompt中提供几个例子作为示范。思考：ICL为什么有效？ 思维链（Chain-of-Thought, CoT）：通过Prompt引导模型一步步推理，显著提升复杂问题解决能力。 进阶：Auto-CoT, Least-to-Most。 检索增强生成（RAG, Retrieval-Augmented Generation） 流程：Query -> 检索器（从外部知识库检索相关文档）-> 拼接文档和Query作为Prompt -> 大模型生成。 为什么需要？ 解决大模型知识陈旧、幻觉问题，并可以接入私有数据。 核心组件：检索器（Retriever）、向量数据库（Vector DB）。 智能体（Agent） 核心思想：LLM作为“大脑”，通过规划（Planning）、工具调用（Tool Use）、记忆（Memory） 来完成任务。 ReAct范式：将Reason和Act结合，是Agent的经典框架。 工具调用（Function Calling）：让LLM学会根据用户请求决定并调用外部API/函数。 02.微调（Fine-Tuning） 全量微调（Full Fine-Tuning）：更新所有参数，效果好，但成本极高。 参数高效微调（PEFT, Parameter-Efficient Fine-Tuning）： LoRA（Low-Rank Adaptation）：在原始权重旁增加低秩分解的适配器（Adapter），只训练这部分参数。原理和优势必须掌握。 QLoRA：将模型量化到4bit后再用LoRA微调，极大降低显存需求。 Adapter, Prefix-Tuning：其他PEFT方法。 模块五：前沿趋势与开放问题（2025重点）01.多模态大模型（Multimodal LLM） 如何融合不同模态？ 编码器融合：分别用CLIP/ViT编码图像，BERT/LLaMA编码文本，通过cross-attention或MLP连接器（如LLaVA）融合。 大统一（All-in-One）：如GPT-4V，直接让大模型原生支持多模态输入。 02.长上下文处理 挑战：Transformer的O(n²)复杂度、注意力分散、模型外推能力。 解决方案：Flash Attention（显存）、Ring Attention（处理极长序列，如百万token）、更好的位置编码（如YaRN）。 03.幻觉（Hallucination）与安全性 幻觉：模型生成不真实或错误的内容。 缓解方法：RAG、CoT、更好的对齐训练（RLHF/DPO）、在推理时进行自验证（Self-Check）。 安全性：如何防止模型输出有害、有偏见的内容？ 04.模型评估（Evaluation） 不再只是看MMLU等学术榜单。 如何评估一个对话/助手模型的好坏？ 基准（Benchmarks）：MT-Bench, AlpacaEval, 硬指令遵循（Hard Instruction Following）。 人类评估（Human Evaluation）：仍然是黄金标准。 模块六：手撕代码与智力题01.必会手写代码 实现一个单头的Self-Attention。 实现LayerNorm 或 RMSNorm。 实现交叉熵损失（CrossEntropy Loss）。 采样函数：实现Top-K和Top-P采样。 02.相关智力题/数学题 LLM推理时的显存估算：模型参数量 * 精度字节数 + KV Cache大小。估算一个7B模型在BF16下，序列长度为2048时的显存占用。 浮点数表示范围/精度问题。 海量数据查找/去重（考察基础算法能力）。 备考建议1.深度优先：对简历上写的项目和技术点，一定要深挖细节。比如你说用了LoRA，就要能讲清楚它的数学原理和优势。 2.广度覆盖：通读此清单，确保每个模块都有所了解，避免知识盲区。 3.紧跟前沿：多关注Hugging Face、知乎、arXiv上最新的论文和技术博客（如Sebastian Raschka, Lil‘Log）。 4.实战练习：使用Hugging Face Transformers库跑通一个完整的SFT或RAG流程，这会让你在面试中有说不完的干货。 如何学习AI大模型？大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。 不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！ 想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。 但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高 那么针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓
第一阶段： 从大模型系统设计入手，讲解大模型的主要方法； 第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用； 第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统； 第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统； 第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型； 第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例； 第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力； • 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求； • 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握； • 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图 👉获取方式：
|
