，看完手撕面试官，非常详细收藏我这一篇就够了)
写在前面学校情况211本中9硕本硕都是计算机科班但研究方向并不是NLP而是图表示学习论文情况1A(NeurIPS)1B(ICDM)已发表另有1A刊在投除此之外还有1A会撰写中所有论文均为一作实习情况一段快手推荐算法实习奖学金情况本硕国家奖学金一面首先是一个自我介绍让讲两个拿手的东西第一个首先介绍了NeurIPS那篇论文中间穿插着问了10多个问题包括具体原理数据集规模下游任务等第二讲了快手的实习主要干了些什么中间穿插着10来个问题面试官显然也了解GNN因此这两部分耽误的时间较久问我主要是搞GNN这块的是怎么接触到大模型的我说本科搞时序预测的比较相关再加上比较感兴趣接下来是大模型八股拷打说一下Transformer的具体结构以机器翻译为例说了编码器和解码器的工作步骤包括训练和测试BERT和GPT的区别在哪里从结构上说了一些然后从BERT的任务说了一些(MLM和NSP)GPT和其他常见的大模型比如LLaMA还有ChatGLM的区别在哪里从结构激活函数位置编码以及训练的任务四个角度说了一下预训练微调了解吗提了一嘴LoRA说了一下LoRA的具体原理以及具体是用在什么地方LLaMA-70B这样的模型加载不进去该怎么训练呢我从模型并行说了一下顺便讲了数据并行GNN和LLM有没有什么好的结合方式思路是类似把节点当做token然后把节点序列送入LLM然后又讲了讲当出现新的节点时可能会怎么处理算法题一个数值不重复的序列每次插入一个值如果该值存在则将其移动到末尾否则插入到末尾要求O(1)时间复杂度。这题类似于LRU用了哈希双向链表哈希存储值和node的映射能实习多久什么时候到岗反问实习生进去后主要做了些什么二面自我介绍讲解NeurIPS论文问了大概十几个问题从动机到细节再到实验让直接打开论文讲讲解ICDM论文问了大概十几个问题讲一下对大模型的理解从上个世纪的词频统计等方法再到skip-gram再到rnn再到Transformer再到BERT再到GPT再到一些有监督微调方法如LoRA还有强化学习BERT和GPT有什么区别各有什么优势为什么BERT更适合做文本理解GPT适合做生成任务谈谈你对强化学习在LLM中的理解图神经网络中一般用什么normwhynorm的作用各种追问了很多感觉回答得不是特别好算法题m * n的格子从左上角到右下角有多少条路径需要将格子中的障碍物避开二维DP反问进去主要做些什么面试官谈了大概十多分钟问了offer的情况以及能实习多久大概多久来三面/HR面自我介绍问有没有深造的打算问到了职业规划具体说了一下实习经历包括做了什么实习中具体是自己一个人在做吗还有什么可以提升的地方吗你觉得自己的优缺点是什么有什么的爱好和兴趣优缺点描述完后问了MBTI为什么会想到做公众号一般做什么方向的后续对这个公众号有更具体的规划吗你一般通过什么来了解你这个领域的前沿技术论文和学术交流进去后具体想要做什么方向有规划吗城市意向offer情况什么时候能入职入职后能待多久能一直实习下去吗确认了一下个人信息反问环节具体进去做什么HR说需要和mentor沟通20分钟后收到了云证通知状态也变成了录用评估中告知下周给offer。以上面试题只是我面试过程中一个成功的案例其实我还总结整理了我所有面试过的题目并且每道题都做了答案解析由于文章篇幅有限不能将全部的面试题答案解析展示出来有需要完整面试题资料的朋友可以扫描下方二维码免费领取哦面试题展示1、请解释一下BERT模型的原理和应用场景。答案BERTBidirectional Encoder Representations from Transformers是一种预训练的语言模型通过双向Transformer编码器来学习文本的表示。它在自然语言处理任务中取得了很好的效果如文本分类、命名实体识别等。2、什么是序列到序列模型Seq2Seq并举例说明其在自然语言处理中的应用。答案Seq2Seq模型是一种将一个序列映射到另一个序列的模型常用于机器翻译、对话生成等任务。例如将英文句子翻译成法文句子。3、请解释一下Transformer模型的原理和优势。答案Transformer是一种基于自注意力机制的模型用于处理序列数据。它的优势在于能够并行计算减少了训练时间并且在很多自然语言处理任务中表现出色。4、什么是注意力机制Attention Mechanism并举例说明其在深度学习中的应用。答案注意力机制是一种机制用于给予模型对不同部分输入的不同权重。在深度学习中注意力机制常用于提升模型在处理长序列数据时的性能如机器翻译、文本摘要等任务。5、请解释一下卷积神经网络CNN在计算机视觉中的应用并说明其优势。答案CNN是一种专门用于处理图像数据的神经网络结构通过卷积层和池化层提取图像特征。它在计算机视觉任务中广泛应用如图像分类、目标检测等并且具有参数共享和平移不变性等优势。6、请解释一下生成对抗网络GAN的原理和应用。答案GAN是一种由生成器和判别器组成的对抗性网络结构用于生成逼真的数据样本。它在图像生成、图像修复等任务中取得了很好的效果。7、请解释一下强化学习Reinforcement Learning的原理和应用。答案强化学习是一种通过与环境交互学习最优策略的机器学习方法。它在游戏领域、机器人控制等领域有广泛的应用。8、请解释一下自监督学习Self-Supervised Learning的原理和优势。答案自监督学习是一种无需人工标注标签的学习方法通过模型自动生成标签进行训练。它在数据标注困难的情况下有很大的优势。9、解释一下迁移学习Transfer Learning的原理和应用。答案迁移学习是一种将在一个任务上学到的知识迁移到另一个任务上的学习方法。它在数据稀缺或新任务数据量较小时有很好的效果。10、请解释一下模型蒸馏Model Distillation的原理和应用。答案模型蒸馏是一种通过训练一个小模型来近似一个大模型的方法。它可以减少模型的计算和存储开销并在移动端部署时有很大的优势。11、请解释一下LSTMLong Short-Term Memory模型的原理和应用场景。答案LSTM是一种特殊的循环神经网络结构用于处理序列数据。它通过门控单元来学习长期依赖关系常用于语言建模、时间序列预测等任务。12、请解释一下BERT模型的原理和应用场景。答案BERTBidirectional Encoder Representations from Transformers是一种预训练的语言模型通过双向Transformer编码器来学习文本的表示。它在自然语言处理任务中取得了很好的效果如文本分类、命名实体识别等。13、什么是注意力机制Attention Mechanism并举例说明其在深度学习中的应用。答案注意力机制是一种机制用于给予模型对不同部分输入的不同权重。在深度学习中注意力机制常用于提升模型在处理长序列数据时的性能如机器翻译、文本摘要等任务。14、请解释一下生成对抗网络GAN的原理和应用。答案GAN是一种由生成器和判别器组成的对抗性网络结构用于生成逼真的数据样本。它在图像生成、图像修复等任务中取得了很好的效果。15、请解释一下卷积神经网络CNN在计算机视觉中的应用并说明其优势。答案CNN是一种专门用于处理图像数据的神经网络结构通过卷积层和池化层提取图像特征。它在计算机视觉任务中广泛应用如图像分类、目标检测等并且具有参数共享和平移不变性等优势。16、请解释一下强化学习Reinforcement Learning的原理和应用。答案强化学习是一种通过与环境交互学习最优策略的机器学习方法。它在游戏领域、机器人控制等领域有广泛的应用。17、请解释一下自监督学习Self-Supervised Learning的原理和优势。答案自监督学习是一种无需人工标注标签的学习方法通过模型自动生成标签进行训练。它在数据标注困难的情况下有很大的优势。18、请解释一下迁移学习Transfer Learning的原理和应用。答案迁移学习是一种将在一个任务上学到的知识迁移到另一个任务上的学习方法。它在数据稀缺或新任务数据量较小时有很好的效果。19、请解释一下模型蒸馏Model Distillation的原理和应用。答案模型蒸馏是一种通过训练一个小模型来近似一个大模型的方法。它可以减少模型的计算和存储开销并在移动端部署时有很大的优势。20、请解释一下BERT中的Masked Language ModelMLM任务及其作用。答案MLM是BERT预训练任务之一通过在输入文本中随机mask掉一部分词汇让模型预测这些被mask掉的词汇。由于文章篇幅有限不能将全部的面试题答案解析展示出来有需要完整面试题资料的朋友可以扫描下方二维码免费领取哦
写在前面学校情况211本中9硕本硕都是计算机科班但研究方向并不是NLP而是图表示学习论文情况1A(NeurIPS)1B(ICDM)已发表另有1A刊在投除此之外还有1A会撰写中所有论文均为一作实习情况一段快手推荐算法实习奖学金情况本硕国家奖学金一面首先是一个自我介绍让讲两个拿手的东西第一个首先介绍了NeurIPS那篇论文中间穿插着问了10多个问题包括具体原理数据集规模下游任务等第二讲了快手的实习主要干了些什么中间穿插着10来个问题面试官显然也了解GNN因此这两部分耽误的时间较久问我主要是搞GNN这块的是怎么接触到大模型的我说本科搞时序预测的比较相关再加上比较感兴趣接下来是大模型八股拷打说一下Transformer的具体结构以机器翻译为例说了编码器和解码器的工作步骤包括训练和测试BERT和GPT的区别在哪里从结构上说了一些然后从BERT的任务说了一些(MLM和NSP)GPT和其他常见的大模型比如LLaMA还有ChatGLM的区别在哪里从结构激活函数位置编码以及训练的任务四个角度说了一下预训练微调了解吗提了一嘴LoRA说了一下LoRA的具体原理以及具体是用在什么地方LLaMA-70B这样的模型加载不进去该怎么训练呢我从模型并行说了一下顺便讲了数据并行GNN和LLM有没有什么好的结合方式思路是类似把节点当做token然后把节点序列送入LLM然后又讲了讲当出现新的节点时可能会怎么处理算法题一个数值不重复的序列每次插入一个值如果该值存在则将其移动到末尾否则插入到末尾要求O(1)时间复杂度。这题类似于LRU用了哈希双向链表哈希存储值和node的映射能实习多久什么时候到岗反问实习生进去后主要做了些什么二面自我介绍讲解NeurIPS论文问了大概十几个问题从动机到细节再到实验让直接打开论文讲讲解ICDM论文问了大概十几个问题讲一下对大模型的理解从上个世纪的词频统计等方法再到skip-gram再到rnn再到Transformer再到BERT再到GPT再到一些有监督微调方法如LoRA还有强化学习BERT和GPT有什么区别各有什么优势为什么BERT更适合做文本理解GPT适合做生成任务谈谈你对强化学习在LLM中的理解图神经网络中一般用什么normwhynorm的作用各种追问了很多感觉回答得不是特别好算法题m * n的格子从左上角到右下角有多少条路径需要将格子中的障碍物避开二维DP反问进去主要做些什么面试官谈了大概十多分钟问了offer的情况以及能实习多久大概多久来三面/HR面自我介绍问有没有深造的打算问到了职业规划具体说了一下实习经历包括做了什么实习中具体是自己一个人在做吗还有什么可以提升的地方吗你觉得自己的优缺点是什么有什么的爱好和兴趣优缺点描述完后问了MBTI为什么会想到做公众号一般做什么方向的后续对这个公众号有更具体的规划吗你一般通过什么来了解你这个领域的前沿技术论文和学术交流进去后具体想要做什么方向有规划吗城市意向offer情况什么时候能入职入职后能待多久能一直实习下去吗确认了一下个人信息反问环节具体进去做什么HR说需要和mentor沟通20分钟后收到了云证通知状态也变成了录用评估中告知下周给offer。以上面试题只是我面试过程中一个成功的案例其实我还总结整理了我所有面试过的题目并且每道题都做了答案解析由于文章篇幅有限不能将全部的面试题答案解析展示出来有需要完整面试题资料的朋友可以扫描下方二维码免费领取哦面试题展示1、请解释一下BERT模型的原理和应用场景。答案BERTBidirectional Encoder Representations from Transformers是一种预训练的语言模型通过双向Transformer编码器来学习文本的表示。它在自然语言处理任务中取得了很好的效果如文本分类、命名实体识别等。2、什么是序列到序列模型Seq2Seq并举例说明其在自然语言处理中的应用。答案Seq2Seq模型是一种将一个序列映射到另一个序列的模型常用于机器翻译、对话生成等任务。例如将英文句子翻译成法文句子。3、请解释一下Transformer模型的原理和优势。答案Transformer是一种基于自注意力机制的模型用于处理序列数据。它的优势在于能够并行计算减少了训练时间并且在很多自然语言处理任务中表现出色。4、什么是注意力机制Attention Mechanism并举例说明其在深度学习中的应用。答案注意力机制是一种机制用于给予模型对不同部分输入的不同权重。在深度学习中注意力机制常用于提升模型在处理长序列数据时的性能如机器翻译、文本摘要等任务。5、请解释一下卷积神经网络CNN在计算机视觉中的应用并说明其优势。答案CNN是一种专门用于处理图像数据的神经网络结构通过卷积层和池化层提取图像特征。它在计算机视觉任务中广泛应用如图像分类、目标检测等并且具有参数共享和平移不变性等优势。6、请解释一下生成对抗网络GAN的原理和应用。答案GAN是一种由生成器和判别器组成的对抗性网络结构用于生成逼真的数据样本。它在图像生成、图像修复等任务中取得了很好的效果。7、请解释一下强化学习Reinforcement Learning的原理和应用。答案强化学习是一种通过与环境交互学习最优策略的机器学习方法。它在游戏领域、机器人控制等领域有广泛的应用。8、请解释一下自监督学习Self-Supervised Learning的原理和优势。答案自监督学习是一种无需人工标注标签的学习方法通过模型自动生成标签进行训练。它在数据标注困难的情况下有很大的优势。9、解释一下迁移学习Transfer Learning的原理和应用。答案迁移学习是一种将在一个任务上学到的知识迁移到另一个任务上的学习方法。它在数据稀缺或新任务数据量较小时有很好的效果。10、请解释一下模型蒸馏Model Distillation的原理和应用。答案模型蒸馏是一种通过训练一个小模型来近似一个大模型的方法。它可以减少模型的计算和存储开销并在移动端部署时有很大的优势。11、请解释一下LSTMLong Short-Term Memory模型的原理和应用场景。答案LSTM是一种特殊的循环神经网络结构用于处理序列数据。它通过门控单元来学习长期依赖关系常用于语言建模、时间序列预测等任务。12、请解释一下BERT模型的原理和应用场景。答案BERTBidirectional Encoder Representations from Transformers是一种预训练的语言模型通过双向Transformer编码器来学习文本的表示。它在自然语言处理任务中取得了很好的效果如文本分类、命名实体识别等。13、什么是注意力机制Attention Mechanism并举例说明其在深度学习中的应用。答案注意力机制是一种机制用于给予模型对不同部分输入的不同权重。在深度学习中注意力机制常用于提升模型在处理长序列数据时的性能如机器翻译、文本摘要等任务。14、请解释一下生成对抗网络GAN的原理和应用。答案GAN是一种由生成器和判别器组成的对抗性网络结构用于生成逼真的数据样本。它在图像生成、图像修复等任务中取得了很好的效果。15、请解释一下卷积神经网络CNN在计算机视觉中的应用并说明其优势。答案CNN是一种专门用于处理图像数据的神经网络结构通过卷积层和池化层提取图像特征。它在计算机视觉任务中广泛应用如图像分类、目标检测等并且具有参数共享和平移不变性等优势。16、请解释一下强化学习Reinforcement Learning的原理和应用。答案强化学习是一种通过与环境交互学习最优策略的机器学习方法。它在游戏领域、机器人控制等领域有广泛的应用。17、请解释一下自监督学习Self-Supervised Learning的原理和优势。答案自监督学习是一种无需人工标注标签的学习方法通过模型自动生成标签进行训练。它在数据标注困难的情况下有很大的优势。18、请解释一下迁移学习Transfer Learning的原理和应用。答案迁移学习是一种将在一个任务上学到的知识迁移到另一个任务上的学习方法。它在数据稀缺或新任务数据量较小时有很好的效果。19、请解释一下模型蒸馏Model Distillation的原理和应用。答案模型蒸馏是一种通过训练一个小模型来近似一个大模型的方法。它可以减少模型的计算和存储开销并在移动端部署时有很大的优势。20、请解释一下BERT中的Masked Language ModelMLM任务及其作用。答案MLM是BERT预训练任务之一通过在输入文本中随机mask掉一部分词汇让模型预测这些被mask掉的词汇。由于文章篇幅有限不能将全部的面试题答案解析展示出来有需要完整面试题资料的朋友可以扫描下方二维码免费领取哦
