首家!永利欢喜娱人城信息通过中国信通院面向大模子的可信执行情形产物专项测试
2024年5月23日,在中国信息通讯研究院(以下简称“中国信通院”)组织的首批“面向大模子的增强型可信执行情形基础能力专项测试”中,永利欢喜娱人城信息顺遂完玉成部测试内容,成为首家完成此项测试的企业。
尺度及测试先容
《面向大模子训练与推理数据掩护的可信执行情形手艺要求》是中国信通院云盘算与大数据研究所依托中国通讯尺度化协会大数据手艺尺度推进委员会(CCSA TC601),团结30余家企业的专家配合体例,旨在为可信执行情形产物/集群在面向大模子场景时的研发、测试、评估和验收提供参考和指引。
据此尺度形成的测试要领思量可信执行情形、模子种别和训练推理数据的特点,笼罩数据工程、模子训练支持、模子推理支持、硬件加速、清静要求五大能力域,包罗数据增强、模子治理、情形清静和数据清静等16个子能力域,共计57个测试项。
永利欢喜娱人城AiLand清静岛隐私盘算平台先容
AiLand清静岛隐私盘算平台专注于保障数据清静流通,致力于解决数据流通历程中的信托和隐私掩护问题。平台综合应用可信执行情形,清静多方盘算,联邦学习,区块链等手艺,团结情形隔离、要害行为数字验签、全流程审计等,实现共享数据的所有权和使用权疏散,确保数据 “可用不行见”,保障数据共享交流历程的数据可控和流程可溯。
AiLand清静岛隐私盘算平台架构
永利欢喜娱人城AiLand清静岛隐私盘算平台在神秘盘算方面具有业界领先的产物积累。近两年在海内各大赛事中屡获优异效果,获得2023年度信通院星河杯TEE赛道天下一等奖,2022年度鲲鹏应用创新大赛天下总决赛数字政府赛道金奖等声誉。
01
平台优势及主要能力
在面向大模子训练与推理场景,永利欢喜娱人城AiLand清静岛隐私盘算平台设计手艺与产物的清静团结架构,支持融合多方数据集建设精调数据集,一连举行训练和推理。
1. 清静防护
为增强模子提供方、数据提供方与平台信托,平台使用神秘盘算手艺提供硬件级的清静掩护,通过算法一致性核验,交互数据清静掩护机制,情形隔离机制等实现模子和数据全流程的神秘性、完整性掩护,知足大模子在高清静要求的营业场景需求。
在身份权限、盘算使命、训练数据、精调模子等内容与神秘盘算手艺深度融合,由硬件为上述内容提供了清静掩护与隔离,纵然是系统治理员也无法窥探到执行中的数据。
2. 清静评估
平台依托永利欢喜娱人城信息在大模子内容清静上多年的积累,支持了模子清静检测能力。通过几千个测试用例,可以检测出包罗提醒词注入、不清静的内容输出、模子滥用风险、模子太过依赖、道德伦理风险、违规内容风险和数据泄露风险等七个偏向的风险。
AiLand清静岛隐私盘算平台清静评估示例
3. 模子开发
模子方面,平台支持ChatGLM3、Llama3、Baichuan2 、千问2、gemma-1.1等相关和其他模子运行。训练数据方面,支持大规模数据输入,支持数据处置赏罚和多源数据清静融合。
4. 低成本迁徙
平台提供与传统大模子训练推理情形类似的界面情形,用户可以在非清静情形的模子轻松地迁徙到隐私盘算平台内。
AiLand清静岛隐私盘算平台推理情形示例
5. 加速装备支持
现在已商用的产物中,支持可知足清静要求的异构加速装备,如Intel AMX、海光和NVIDIA等。例如Intel AMX是一种用于加速深度学习和矩阵盘算的处置赏罚器扩展,可以为ChatGLM、Llama及QWen等系列模子的推理和训练提供加速能力,2粒第四代志强处置赏罚器情形下,模子的推理速率有近400%的提升,逊з度有近50%的提升。
这些硬件在提供强盛盘算能力的同时,还具备精彩的清静性能,能够有用掩护大模子相关数据的清静性和隐私性。AiLand清静岛隐私盘算平台充实使用这些硬件优势,支持在算力基础设施上构建平台,确保在提供盘算性能优化的同时,知足严酷的数据清静和隐私掩护要求。
02
主要应用
1. 模子精调
在行业或领域大模子训练等场景而言,企业通常会选择合适的大模子作为基础模子,使用本方数据或融合多方数据对模子举行精调。在这一历程中,需要保证模子提供方提供的基础模子的清静和各方用于精调训练的数据清静,防止模子和数据被未经授权的会见。
永利欢喜娱人城AiLand清静岛隐私盘算平台通过情形隔离、数据完整性和神秘性掩护、全流程监控审计等机制掩护平台内数据清静,并提供模子客栈、模子导出、优化工具等功效,保证精调阶段的功效和性能可用。
2. 清静推理
在推理场景中需要思量模子、数据和算力等条件,一是提供大模子推理服务的模子均为企业破费资金和时间训练获得的,是模子提供方的焦点资产;二是,用户的输入数据和推理效果是用户希望被掩护的数据;三是提供基于大模子的推理服务需要一定规模算力,但并非每家企业都具备自力搭建算力平台的能力。
因此,基于公有算力的大模子推理服务是较为常见的模式。永利欢喜娱人城AiLand清静岛隐私盘算平台,通过一致性磨练、交互加密等方式对推理服务时模子和数据举行掩护。