tencent cloud

操作场景

本文将详细介绍如何通过 URL 列表，配置 Agent 半托管方式实现数据迁移。

准备工作

腾讯云对象存储 COS

1. 创建目标存储空间，用于存放迁移的数据，详情请参见 创建存储桶。

2. 创建用于迁移的子用户并授予相关权限：

   1. 登录腾讯云 访问管理控制台。

   2. 在左导航栏中选择用户 > 用户列表，进入用户列表页面。

   3. 新建子用户，勾选编程访问及腾讯云控制台访问。

   4. 搜索并勾选 QcloudCOSAccessForMSPRole 及 QcloudCOSFullAccess 策略。

   5. 完成子用户创建并保存子用户名，访问登录密码，SecretId，SecretKey。

      说明：

      迁移服务也可以使用主账号操作，但是出于安全考虑，建议新建子用户并使用子用户 API 密钥进行迁移，迁移完成后删除。

操作步骤

登录迁移服务平台

1. 登录 迁移服务平台。
2. 在左导航栏中单击对象存储迁移，进入对象存储迁移页面。

新建迁移任务

1. 在对象存储迁移页面，单击新建任务，进入对象存储迁移任务配置页面，进行迁移参数的设置。

2. 设置迁移任务名称。
   
   任务名称：字符长度为1至60个字符，允许的字符为中文、英文、0-9、_、-。此处设置的名称，将用于在任务列表中查看迁移状态和迁移进度。

3. 预估任务规模。

   

   更准确的填写任务规模，以便我们更好的准备相关资源，非必填

4. 设置要迁移的文件来源。
   此处迁移源服务提供商应选择URL列表，按说明准备好URL列表的文本文件后，上传到一个可以通过http协议访问到此文件的地方，把此文件的http的访问链接输入到下面的输入框即可。

   注意：

   • 无论是要迁移的文件源服务还是URL列表文件服务，都要支持http分块下载
   • 待迁移文件http地址带有特殊字符的最好做urlencode编码处理
   • 一个比较好的建议是直接将URL列表文件上传到目标COS桶，将文件设置为公有读，然后把文件的COS访问链接贴到此处，待迁移任务完成后再删除。

   

5. 选择 Header 方式。
   如果源桶中的文件设定了 Header/Tag 并且需要在迁移后保留，请选择保留或设置替换规则。
   

6. 设定迁移规则。
   选择对指定桶中的全部文件进行迁移，或仅迁移指定前缀的文件。
   

7. 设定时间范围。
   开启时间范围，只迁移指定时间范围内新增或变更的文件。
   

8. 选择文件存储方式。
   根据迁移的需求，设定迁移后文件的存储方式，可以选择：标准存储、低频存储、保持原存储属性、归档存储。
   

9. 设定执行速度。
   各公有云厂商的对象存储都有速度限制。为确保业务稳定，请在迁移前与源厂商确认并设置最高迁移可用 Mbps。
   

10. 选择要迁移到的目标位置。
    在迁移目标信息中，输入用于迁移的腾讯云子用户 SecretId，SecretKey。填入密钥后，单击“迁移桶名称”下拉框右侧的刷新按钮，即可获取目标对象存储桶列表。
    

11. 指定迁移到目标桶的指定目录和同名文件处理方式。

    • 保存到根目录： 直接将源桶中的文件按原始相对路径保存到目标桶的根目录。
    • 保存到指定目录：将源桶中的文件保持原始相对路径保存到指定目录中。
      
      例如：
      源桶中的文件/a.txt，/dir/b.txt两个文件，文本框中填写“dest”，那么迁移后这两个文件在目标桶中的路径为：/dest/a.txt，/dest/dir/b.txt。
      如果文本框中填写dest/20180901，那么迁移后这两个文件在目标桶中的路径为：/dest/20180901/a.txt，/dest/20180901/dir/b.txt。

    注意：

    • 若同名文件选择覆盖，则迁移时会直接覆盖掉同名文件
    • 若同名文件选择跳过，会基于文件最后修改时间LastModified判断，即
    • 如果源地址中文件的LastModified晚于或者等于目的地址中文件的LastModified，则执行覆盖。
    • 如果源地址中文件的LastModified早于目的地址中文件的LastModified，则执行跳过。
    • 若在迁移过程中对象（文件）内容有变化，需要进行二次迁移。

12. 选择迁移模式

    • 新建迁移任务后手动下载 Agent 启动迁移：选择 Agent 模式迁移，用户在单击“新建并启动”后，将仅创建任务配置，需要用户手动下载 Agent 在迁移源一侧的服务器上部署之后才会正式启动迁移。迁移 Agent 部署参考文档：半托管迁移 Agent 的使用说明。
      

13. 单击新建并启动，即可启动迁移任务。

查看迁移状态和进度

在文件迁移工具主界面中，可以查看所有文件迁移任务的状态和进度：
• “任务完成”状态，绿色是任务完成并且所有文件都迁移成功，黄色是迁移任务完成但部分文件迁移失败。
• 单击“重试失败任务”链接后，该任务中失败的文件将会重试迁移，已经成功迁移的文件不会重传。
• 单击“导出”链接可以导出迁移过程中失败的文件列表。

预估文件迁移时间

迁移速度由迁移过程中涉及到的每一个环节的最低速度决定，同时受到网络传输速度和最大并发数影响。影响因素有：