谷歌发布超大规模隐私保护语言模型VaultGemma

谷歌发布超大规模隐私保护语言模型VaultGemma

近日,谷歌 DeepMind 发布了一款新型语言模型 ——VaultGemma,这是全球参数规模最大的隐私保护型语言模型,为人工智能在处理敏感数据时的安全性带来了新的突破。

800_auto

VaultGemma 基于谷歌的 Gemma2 框架构建,采用纯解码器 Transformer 结构,包含 26 个网络层,并运用多查询注意力机制优化计算效率。其独特之处在于,通过在训练阶段引入校准噪声,模型能够防止记忆训练数据中的具体内容,避免在输出中泄露敏感用户数据或受版...

点击查看剩余70%

{{collectdata}}

网友评论