tencent cloud

操作场景

下文将详细介绍当源对象存储部署在 AWS S3 国际站时，如何配置 Agent 半托管迁移任务，实现数据迁移。

说明：

“AWS 海外站迁移”，需要登录国际站控制台。

AWS S3国际站只支持半托管迁移。

准备工作

AWS S3

创建 AWS IAM 账号并授予相关权限：

1. 登录 AWS 控制台。
2. 在导航窗格中，选择用户，然后选择添加用户。为新用户键入用户名。
3. 选择此组用户将拥有的访问权限类型。选择以编程方式访问和访问 AWS 管理控制台。
4. 单击Next: Permissions（下一步：权限）。在 Set permissions 页面上，指定您要向新用户分配权限的方式。授予IAM账号存储空间读写权限。
5. 单击Create user。
6. 要查看用户的访问密钥（访问密钥 ID 和秘密访问密钥），请选择您要查看的每个密码和访问密钥旁边的显示。要保存访问密钥，请选择下载 .csv，获取 AccessKeyID 和 AccessKeySecret。

腾讯云对象存储 COS

1. 创建目标存储空间：
   创建目标存储空间，用于存放迁移的数据。详情请参见 创建存储桶。
2. 创建用于迁移的子用户并授予相关权限：
   1. 登录腾讯云 访问管理控制台。
   2. 在左导航栏中单击 用户 > 用户列表， 进入用户列表页面。
   3. 新建子用户，勾选编程访问及腾讯云控制台访问。
   4. 搜索并勾选 QcloudCOSAccessForMSPRole 及 QcloudCOSFullAccess 策略。
   5. 完成子用户创建并保存子用户名，访问登录密码，SecretId，SecretKey。
   6. 单击 这里 下载 Agent。

说明：

迁移服务也可以使用主账号操作，但是出于安全考虑，建议新建子账号并使用子账号 API 密钥进行迁移，迁移完成后删除。

操作步骤

登录迁移服务平台

1. 登录 迁移服务平台。
2. 在左导航栏中单击对象存储迁移，进入对象存储迁移页面。

新建迁移任务

1. 在对象存储迁移页面，单击新建任务，进入对象存储迁移任务配置页面，进行迁移参数的设置。

2. 设置迁移任务名称。
   
   任务名称：字符长度为1至60个字符，允许的字符为中文、英文、0-9、_、-。此处设置的名称，将用于在任务列表中查看迁移状态和迁移进度。

3. 预估任务规模。

   

   更准确的填写任务规模，以便我们更好的准备相关资源，非必填

4. 设置要迁移的文件来源。
   此处迁移源服务提供商应选择AWS S3国际站，并在下方 AccessKey，SecretKey 文本框中输入先前新建用于迁移的AWS子账号 AccessKeyID 和 AccessKeySecret。填入密钥后，单击“迁移桶名称”下拉框右侧的刷新按钮，即可获取源对象存储桶列表。
   

   也可以选择手动输入源桶名称

   

5. 选择 Header 方式。
   如果源桶中的文件设定了 Header/Tag 并且需要在迁移后保留，请选择保留或设置替换规则。
   

6. 设定迁移规则。
   选择对指定桶中的全部文件进行迁移，或仅迁移指定前缀的文件。
   

7. 设定时间范围。
   开启时间范围，只迁移指定时间范围内新增或变更的文件。
   

8. 选择文件存储方式。
   根据迁移的需求，设定迁移后文件的存储方式，可以选择：标准存储、低频存储、保持原存储属性、归档存储。
   

9. 设定执行速度。
   各公有云厂商的对象存储都有速度限制。为确保业务稳定，请在迁移前与源厂商确认并设置最高迁移可用 Mbps。
   

10. 选择要迁移到的目标位置。
    在迁移目标信息中，输入用于迁移的腾讯云子用户 SecretId，SecretKey。填入密钥后，单击“迁移桶名称”下拉框右侧的刷新按钮，即可获取目标对象存储桶列表。
    

11. 指定迁移到目标桶的指定目录和同名文件处理方式。

    • 保存到根目录： 直接将源桶中的文件按原始相对路径保存到目标桶的根目录。
    • 保存到指定目录：将源桶中的文件保持原始相对路径保存到指定目录中。
      
      例如：
      源桶中的文件/a.txt，/dir/b.txt两个文件，文本框中填写“dest”，那么迁移后这两个文件在目标桶中的路径为：/dest/a.txt，/dest/dir/b.txt。
      如果文本框中填写dest/20180901，那么迁移后这两个文件在目标桶中的路径为：/dest/20180901/a.txt，/dest/20180901/dir/b.txt。

    注意：

    • 若同名文件选择覆盖，则迁移时会直接覆盖掉同名文件
    • 若同名文件选择跳过，会基于文件最后修改时间 LastModified 判断，即
    • 如果源地址中文件的 LastModified 晚于或者等于目的地址中文件的 LastModified，则执行覆盖。
    • 如果源地址中文件的 LastModified 早于目的地址中文件的 LastModified，则执行跳过。
    • 若在迁移过程中对象（文件）内容有变化，需要进行二次迁移。

12. 选择迁移模式

    • 新建迁移任务后手动下载 Agent 启动迁移：选择 Agent 模式迁移，用户在单击“新建并启动”后，将仅创建任务配置，需要用户手动下载 Agent 在迁移源一侧的服务器上部署之后才会正式启动迁移。迁移 Agent 部署参考文档：半托管迁移 Agent 的使用说明。
      

13. 单击新建并启动，即可启动迁移任务。

查看迁移状态和进度

在文件迁移工具主界面中，可以查看所有文件迁移任务的状态和进度：
• “任务完成”状态，绿色是任务完成并且所有文件都迁移成功，黄色是迁移任务完成但部分文件迁移失败。
• 单击“重试失败任务”链接后，该任务中失败的文件将会重试迁移，已经成功迁移的文件不会重传。
• 单击“导出”链接可以导出迁移过程中失败的文件列表。

预估文件迁移时间

迁移速度由迁移过程中涉及到的每一个环节的最低速度决定，同时受到网络传输速度和最大并发数影响。影响因素有：