tencent cloud

文档反馈

挂载文件系统到 Alluxio 统一文件系统

最后更新时间:2022-08-08 11:04:32

    背景

    Alluxio 提供了统一命名空间机制,允许将其他文件系统挂载到 Alluxio 的文件系统中。该机制允许上层应用使用统一的命名空间,访问分散在不同系统中的数据。

    挂载 COS

    示例:将 COS 中某个 bucket 挂载到 alluxio 目录中。

    bin/alluxio fs mount --option fs.cos.access.key=<COS_SECRET_ID> \
      --option fs.cos.secret.key=<COS_SECRET_KEY> \
      --option fs.cos.region=<COS_REGION> \
      --option fs.cos.app.id=<COS_APP_ID> \
      /cos cos://<COS_BUCKET>/
    

    其中,--options 中配置 COS 的配置。

    配置名称 解释
    fs.cos.access.key cos scecret id
    fs.cos.secret.key cos secret key
    fs.cos.region cos region 名称,例如 ap-beijing
    fs.cos.app.id 用户 AppID
    COS_BUCKET COS BUCKET 名称。只要名称,不要带 AppID 后缀

    该命令,将 COS 的目录(通过 cos://bucket/xxx 指定)挂载到 alluxio 的 /cos 目录下。

    挂载 HDFS

    示例:将 HDFS 某目录挂载到 alluxio 目录中。

    `bin/alluxio fs mount /hdfs hdfs://data` 
    

    该命令将 HDFS 的 /data 目录挂载到 alluxio 的 /hdfs 子目录下。
    挂载成功后,通过 alluxio fs ls 命令,查看挂载内容。

    挂载 CHDFS

    示例:将 CHDFS 通过 mount 挂载到 Alluxio

    说明:

    只有 EMR2.5.0 + alluxio2.3.0+ 以上才支持。

    alluxio fs mount   \ 
    --option alluxio.underfs.hdfs.configuration=/usr/local/service/hadoop/etc/hadoop/core-site.xml  \
    /chdfs ofs://f4modr7kmvw-wMqw.chdfs.ap-chongqing.myqcloud.com
    
    
    联系我们

    联系我们,为您的业务提供专属服务。

    技术支持

    如果你想寻求进一步的帮助,通过工单与我们进行联络。我们提供7x24的工单服务。

    7x24 电话支持