Skip to content

Data Exchange Service

构想

Data Exchange (DE) Service 允许客户出于任何目的上传和下载数据。它适用于普通用户以及将数据上传到 MindSphere 的工具。

访问

Data Exchange 的操作以 REST API 提供。支持通过调用 API​​ 来上传、下载、组织和列出文件夹结构。

要访问此服务,您需要具有 Data Exchange 角色和范围中列出的相应角色。

基础知识

客户和其它服务可以使用 DE 作为文件存储和管理提供方。分片上传和下载支持的最大文件大小为 5TB。请注意,当通过 MindGate 接收请求时,MindGate 会额外应用自己的限制,包括超时时间和请求大小。

DE 不会对所传输字节的内容进行缓存、分析或病毒扫描。它使用 Spring Cloud Resource Manager 和流机制,为操作 S3 存储提供多线程支持。实施这种类型的后端通信旨在确保在最小资源负载下实现最大性能。

可见性空间:

默认情况下,在上传文件时,新上传的文件会继承其父级的可见性。可见性分为公有和私有。公有可见性表示该文件在租户空间中可见。私有可见性表示该文件仅在用户空间中可见,即只有上传该文件的用户可以对其执行下载、删除或更新操作。

公有空间

租户内的所有用户均可访问公有空间。在公有目录中上传或创建的任何文件和目录均可公开使用。如果文件或目录需要放在根目录下,即它们没有父项,则 parentId 属性须设置为 _PUBLIC_ROOT_ID

私有空间

私有空间仅允许对应的创建者访问。在私有目录中上传或创建的任何文件和目录不得公开使用。如果文件或目录需要放在根目录下,即它们没有父项,则 parentId 属性须设置为 _PRIVATE_ROOT_ID

功能

Data Exchange Service 公开其 API 以实现以下任务:

  • 安全上传测试平台或生产数据
  • 从 MindSphere 中下载之前上传的数据
  • 下载其它 MindSphere 服务或应用生成的结果
  • 为用户和服务的临时或永久数据提供高性能的长期存储
  • 组织文件夹中的文件
  • 在用户级别存储机密文件,使租户的其他用户无法访问此类文件

限制

  • 文件大小内部限制为 S3,但通过 MindGate 使用 DE 时,将应用 MindGate 的限制
  • 文件名和目录名的长度限制为 1024 个字符
  • 父级目录中最多包含 10,000 个对象
  • 未提供目录内容的递归列表

示例场景

开发人员希望使用 异常检测服务 训练异常检测模型。开发人员使用 Data Exchange Service 将训练集上传到 MindSphere。异常检测服务随后可以使用该数据。

相关链接


Last update: January 23, 2024