为了提高学校科研人员对AI&ML技术的认识和关注,科研处组织“AI赋能科研能力提升”系列培训,此次培训以讲座和实操的方式呈现,将集中探讨AI在科研领域的应用实践、技术前沿动态、具体案例分析以及未来发展趋势。系列培训拟举办10场活动,第一场培训讲座由辛辛那提大学(美国)Lindner商学院的虞彤教授主讲,科研处处长闫海洲主持,近80名教师参加。
虞彤教授首先从大语言模型的原理入手,详细介绍了在大语言模型中最常见的Transformer架构中注意力(Attention)机制的工作原理。在Attention机制中,首先通过“查询(Q)”“键(K)”“值(V)”结合初始的字词嵌入(Embedding)和位置编码的运算计算出每个字词在一个句子中的注意力得分,经过多层计算得到最终嵌入结果。
接着,虞彤教授介绍了文本分析的一般流程,包括文本的预处理、特征提取等步骤,并详细介绍了包括分词、词袋、TF-IDF以及Word2Vec等具体方法,以及如何结合大语言模型提供方OpenAI的接口结合Python对大规模文本进行分析。结合Attention的工作原理以及文本分析的需求,虞彤教授介绍了Transformer架构的组成结构。最后,虞彤教授介绍了其他可以使用的大语言模型,并通过实际案例展示了大语言模型的应用。