摘要

本文探讨了在第三方云服务提供商的基础设施上，对由模型提供商拥有的专有大型语言模型（LLM）进行离场微调和推理的问题，同时确保模型和数据的保密性。文章提出了一种名为ObfuscaTune的新方法，该方法结合了简单的混淆技术和高效的保密计算技术，仅将5%的模型参数放置在可信执行环境（TEE）中，从而在保护模型和数据的同时，保持了模型的实用性和效率。实验证明，该方法在多个NLP基准数据集上对不同大小的GPT-2模型进行了有效验证，并强调了使用低条件数的随机矩阵在减少混淆引起的误差中的必要性。

原理

ObfuscaTune的核心在于使用TEE和一种简单而有效的混淆技术来保护模型和数据。模型提供商将专有模型发送到云服务提供商基础设施上的TEE中，通过混淆技术保护高参数化的注意力和MLP层，然后将这些层发送到TEE外部。低参数化的层，如输入、输出、归一化和丢弃层，则保留在TEE中。数据所有者将加密的数据批次直接发送到TEE，在TEE中解密并嵌入，然后通过混淆方法保护嵌入数据。混淆方法通过乘以随机矩阵来混淆模型参数和数据嵌入，这些随机矩阵具有最小化数值误差的特性。通过这种方式，ObfuscaTune确保了模型和数据的保密性，同时保持了模型的实用性和效率。

流程

ObfuscaTune的工作流程包括三个主要步骤：模型保护、数据保护和混淆操作。首先，模型提供商将专有模型发送到TEE中，通过混淆技术保护模型的高参数化层，然后将这些层发送到TEE外部。其次，数据所有者将加密的数据批次发送到TEE，在TEE中解密并嵌入，然后通过混淆方法保护嵌入数据。最后，通过混淆操作，将混淆后的数据嵌入通过混淆后的模型层，得到混淆后的中间嵌入，再将其发回TEE进行解混淆和进一步处理。整个过程中，所有在TEE外处理的数据嵌入和模型参数都是混淆的，确保了模型和数据的保密性。

应用

ObfuscaTune的应用前景广泛，特别是在需要保护模型和数据隐私的领域，如金融、医疗和法律服务等。该方法不仅适用于现有的LLM，如GPT-2，还可以扩展到其他基于相同构建块的LLM。随着对数据隐私和模型保密性要求的提高，ObfuscaTune提供了一种高效且实用的解决方案，有望在未来的隐私保护技术中发挥重要作用。