文本嵌入王者易位！Gemini Embedding 横扫 MTEB 九大赛道，网友：OpenAI 连夜加班

性能领先，刷新行业标准

北京时间2023年7月15日凌晨1点，谷歌正式推出其首款Gemini嵌入模型。该模型在多文本嵌入基准测试平台（MTEB）上以68.37的高分位居榜首，显著超越OpenAI的58.93分。这一突破性成绩不仅彰显了谷歌在嵌入技术领域的领先地位，也为独立开发者和自由职业者带来了更具性价比的选择：Gemini嵌入模型的使用成本仅为每百万token 0.15美元。

功能全面，适用广泛

根据测试结果，Gemini嵌入模型在双语挖掘、分类、聚类、指令检索、多标签分类、配对分类、重排、检索以及语义文本相似性等多项任务中均表现优异，成为目前最强的嵌入模型之一。其强大的多语言支持能力，使其在全球化应用场景中展现出巨大潜力，尤其适用于非英语母语用户群体。

架构先进，设计精巧

Gemini嵌入模型采用双向Transformer编码器架构，继承了Gemini模型的核心机制------双向注意力系统，从而充分发挥其语言理解优势。该模型在底层32层Transformer的基础上，新增了一个池化层，用于整合输入序列中每个token的嵌入信息，生成统一的嵌入向量。通过简单高效的均值池化策略，进一步提升了模型的泛化能力。

训练科学，数据优化

为确保模型在各类任务中的高效表现，Gemini嵌入模型采用了分阶段的训练流程，包括预微调与精细调优两个阶段。预微调阶段利用大规模Web语料库进行参数调整，使其从自回归生成任务顺利过渡到编码任务；而精细调优阶段则聚焦特定任务数据，提升模型精准度。

此外，研究团队还引入了合成数据生成机制，并借助Gemini自身能力对训练数据进行筛选过滤，有效剔除低质量样本，保障训练过程的稳定性与模型输出的可靠性。

意义深远，前景广阔

Gemini嵌入模型的推出标志着谷歌在人工智能嵌入技术领域迈出了关键一步，极大增强了其在AI行业的竞争力。随着该模型的广泛应用，预计将有力推动搜索引擎优化、个性化推荐、内容匹配等多个智能服务的发展。

• 体验地址： 点击访问Gemini模型体验页面