Data Exchange Service¶
构想¶
Data Exchange (DE) Service 允许客户出于任何目的上传和下载数据。它适用于普通用户以及将数据上传到 MindSphere 的工具。
访问¶
Data Exchange 的操作以 REST API 提供。支持通过调用 API 来上传、下载、组织和列出文件夹结构。
要访问此服务,您需要具有 Data Exchange 角色和范围中列出的相应角色。
基础知识¶
客户和其它服务可以使用 DE 作为文件存储和管理提供方。分片上传和下载支持的最大文件大小为 5TB。请注意,当通过 MindGate 接收请求时,MindGate 会额外应用自己的限制,包括超时时间和请求大小。
DE 不会对所传输字节的内容进行缓存、分析或病毒扫描。它使用 Spring Cloud Resource Manager 和流机制,为操作 S3 存储提供多线程支持。实施这种类型的后端通信旨在确保在最小资源负载下实现最大性能。
可见性空间:¶
默认情况下,在上传文件时,新上传的文件会继承其父级的可见性。可见性分为公有和私有。公有可见性表示该文件在租户空间中可见。私有可见性表示该文件仅在用户空间中可见,即只有上传该文件的用户可以对其执行下载、删除或更新操作。
公有空间¶
租户内的所有用户均可访问公有空间。在公有目录中上传或创建的任何文件和目录均可公开使用。如果文件或目录需要放在根目录下,即它们没有父项,则 parentId
属性须设置为 _PUBLIC_ROOT_ID
。
私有空间¶
私有空间仅允许对应的创建者访问。在私有目录中上传或创建的任何文件和目录不得公开使用。如果文件或目录需要放在根目录下,即它们没有父项,则 parentId
属性须设置为 _PRIVATE_ROOT_ID
。
功能¶
Data Exchange Service 公开其 API 以实现以下任务:
- 安全上传测试平台或生产数据
- 从 MindSphere 中下载之前上传的数据
- 下载其它 MindSphere 服务或应用生成的结果
- 为用户和服务的临时或永久数据提供高性能的长期存储
- 组织文件夹中的文件
- 在用户级别存储机密文件,使租户的其他用户无法访问此类文件
限制¶
- 文件大小内部限制为 S3,但通过 MindGate 使用 DE 时,将应用 MindGate 的限制
- 文件名和目录名的长度限制为 1024 个字符
- 父级目录中最多包含 10,000 个对象
- 未提供目录内容的递归列表
示例场景¶
开发人员希望使用 异常检测服务 训练异常检测模型。开发人员使用 Data Exchange Service 将训练集上传到 MindSphere。异常检测服务随后可以使用该数据。