ddwGroup A online blog of ddwGroup

论文学习

论文学习 VLMo:混合模态专家的统一视觉语言预训练 提出了一个统一的视觉语言预训练模型(VLMO),它通过模块化 Transformer 网络联合学习双编码器和融合编码器。具体来说,引入了Mixture-of-Modality-Experts (MOME) Transformer,其中每个块包含一

蒋晓翠 蒋晓翠 发布于 2024-01-10

大模型微调--几种AIGC的方法

大模型微调--几种AIGC的方法 随着团队方向慢慢转型向大模型方向,而大模型的训练往往不能像以前训练常规模型一样一个方向训练一个模型,由于其高昂的训练成本和时间成本,所以了解现在常用的大模型微调方法是有必要的,本次主要讲解LoRA:Low-Rank Adaptation of Large Langu

贾明明 贾明明 发布于 2023-12-27