tencent cloud

概要

VOD Migrate Toolは、データマイグレーション機能を集約化した一体型ツールです。シンプルな設定ファイルを編集することで、ユーザーはソースアドレスのメディアファイルをVODに迅速にマイグレーションできます。

サポートするデータソース

• ローカルフォルダ
• URLリスト
• Tencent Cloud COS
• AWS S3
• Alibaba Cloud OSS
• Qiniu Kodo

使用環境

システム環境

Windows、Linux 、macOSシステムをサポートします。

ソフトウェア依存

• Python 2.7/3.4+。

• 最新バージョンのpip。

  インストール

Pipによるインストール（推奨）

SDKをpipによってプロジェクトにインストールすることができます。プロジェクト環境にまだpipをインストールしていない場合は、pip公式サイトを参照してインストールしてください。

pip install vodmigrate

ソースコードパッケージによるインストール

ソースコードダウンロードアドレス：ここをクリック。
最新コードをダウンロードして解凍後：

git clone https://github.com/tencentyun/vod-migrate.git
cd vod-migrate
python setup.py install

ユースケース

コマンドの実行：

vodmigrate config.toml

説明：

マイグレーションが完了すると、結果は設定項目"migrateResultOutputPath"に対応するディレクトリに出力されます。ファイル名：vod_migrate_result.txt。

設定ファイルの説明

設定ファイルは、toml形式（参考：config_template.tomlを採用しています。ファイルがUTF-8でエンコードされていること確認してください）。ファイルの内容は以下のいくつかの部分に分けられます。

1. マイグレーションの種類の設定

typeはマイグレーションのニーズに応じて入力するマイグレーションのタイプを表します。例えば、ローカルデータをVODにマイグレーションする場合は、[migrateType]の設定内容はtype=migrateLocalになります。

[migrateType]
type="migrateLocal"

現在サポートするマイグレーションの種類は以下のとおりです。

migrateType	説明
migrateLocal	ローカルからVODにマイグレーション
migrateUrl	ダウンロードURLからVODにマイグレーション
migrateCos	Tencent Cloud COSからVODにマイグレーション
migrateAws	AWS S3からVODにマイグレーション
migrateAli	Alibaba Cloud OSSからVODにマイグレーション
migrateQiniu	Qiniu KodoからVODにマイグレーション

2. マイグレーションタスクの設定

ユーザーは実際のマイグレーションのニーズに従って関連設定を行います。主にVOD設定とタスク設定の情報関連のマイグレーションになります。

#マイグレーションツールの標準設定
[common]
secretId = "SECRETID"
secretKey = "SECRETKEY"
region = 'REGION'
subAppId = 0
concurrency = 5
supportMediaClassification = [ 'video', 'audio', 'image' ]
excludeMediaType = [  ]
migrateDbStoragePath = ''
migrateResultOutputPath = ''

名称	説明
secretId	SecretIdはユーザーキーです。SECRETIDを実際のキー情報に置換してください。 CAMコンソール のTencent Cloud API キー画面に進んで取得することができます。
secretKey	SecretKeyはユーザーキーです。SECRETKEYを実際のキー情報に置換してください。 CAMコンソール のTencent Cloud API キー画面に進んで取得することができます。
region	アクセスポイントリージョンとは、VODサーバーをリクエストするリージョンのことで、ストレージリージョンとは異なります。詳細はサポートするリージョンリスト をご参照ください。
subAppId	VODのサブアプリケーション IDです。ファイルをサブアプリケーションにマイグレーションする場合は、このフィールドにサブアプリケーションIDを入力します。マイグレーションの必要がない場合、入力する必要はありません。
concurrency	同時にマイグレーションされるファイルの数量。最大値50
supportMediaClassification	マイグレーションでサポートされるメディアタイプのリスト。有効値：video（ビデオ）、audio（オーディオ）、image（画像）
excludeMediaType	排除するファイルタイプのリスト
migrateDbStoragePath	マイグレーションされたdbの保存パス。空欄の場合は、現在のディレクトリを意味します。
migrateResultOutputPath	マイグレーション結果の保存パス（1個のマイグレーションレコードは、1行のjson形式の文字列に対応）。空欄の場合は、現在のディレクトリを意味します。

ファイルタイプの説明：

• ビデオ：MP4、TS、FLV、WMV、ASF、RM、RMVB、MPG、MPEG、3GP、MOV、WEBM、MKV、AVI、** HLS、DASHはサポートしない**
• オーディオ：MP3、M4A、FLAC、OGG、WAV
• 画像：JPG、JPEG、PNG、GIF、BMP、TIFF、AI、CDR、EPS

3. データソース情報の設定

[migrateType] のマイグレーションタイプに従って、対応するセクションを設定します。例えば、 [migrateType] の設定内容がtype=migrateLocalであれば、ユーザーは [migrateLocal] セクションを設定するだけです。

3.1 ローカルのデータソースmigrateLocalの設定

ローカルからVODにマイグレーションする場合は、この部分の設定を行います。具体的な設定項目および説明は以下のとおりです。

# ローカルからVODへのマイグレーションの設定セクション
[migrateLocal]
localPath = ''
excludes = [ ]

設定項目	説明
localPath	ローカルパスは、絶対パスの形式である必要があります
excludes	排除するディレクトリの絶対パス。localPathのディレクトリにあるファイルはマイグレーションされないことを示します。

3.2 URLリストのデータソースmigrateUrlの設定

指定したURLリストからVODにマイグレーションする場合は、この部分の設定を行います。具体的な設定項目および説明は以下のとおりです。

# URLリストのダウンロードからVODにマイグレーションするための設定セクション
[migrateUrl]
urllistPath = 'D:\folder\urllist.txt'

設定項目	説明
urllistPath	URLリストを保存しているファイルの絶対パス。ファイルの内容は1行に1個の元のURLアドレスを含むURLテキストです。

3.3 COSデータソースmigrateCosの設定

Tencent CloudのCOSからVODにマイグレーションする場合は、この部分の設定を行います。具体的な設定項目および説明は以下のとおりです。

# Tencent CloudのCOSからVODへのマイグレーションの設定セクション
[migrateCos]
region = 'ap-shanghai'
bucket = 'examplebucket-1250000000'
secretId = 'COS_SECRETID'
secretKey = 'COS_SECRETKEY'
prefix = ''

設定項目	説明
region	BucketのRegion情報についてはアベイラビリティリージョンをご参照ください
bucket	<bucketname-appid>形式のBucket名。 Bucket名はAPPIDを必ず含める必要があります。例：examplebucket-1250000000
secretId	Bucketが属するユーザーキーのsecretId。Tencent Cloud APIキー で表示することができます。
secretKey	Bucketが属するユーザーキーのsecretKey。 Tencent Cloud APIキー で表示することができます。
prefix	マイグレーションするパスのプレフィックス。Bucketの全データをマイグレーションする場合は、prefixを空欄にします。

3.4 AWSデータソースmigrateAwsの設定

AWSからVODにマイグレーションする場合は、この部分の設定を行います。具体的な設定項目および説明は以下のとおりです。

# AWSからVODへのマイグレーションの設定セクション
[migrateAws]
region = 'ap-northeast-2'
bucket = 'bucket-aws'
accessKeyId = 'AccessKeyId'
accessKeySecret = 'AccessKeySecret'
prefix = ''

設定項目	説明
region	AWS COS Region
bucket	AWS COS Bucket名
accessKeyId	AccessKeyIdをユーザーキーに置換
accessKeySecret	AccessKeySecretをユーザーキーに置換
prefix	マイグレーションするパスのプレフィックス。 Bucketの全データをマイグレーションする場合は、prefixを空欄にします。

3.5 Alibaba OSSデータソースmigrateAliの設定

Alibaba Cloud OSSからVODにマイグレーションする場合は、この部分の設定を行います。具体的な設定項目及び説明は以下のとおりです。

# Alibaba OSSからVODへのマイグレーションの設定セクション
[migrateAli]
bucket = 'bucket-aliyun'
accessKeyId = 'yourAccessKeyId'
accessKeySecret = 'yourAccessKeySecret'
endPoint = 'oss-cn-hangzhou.aliyuncs.com'
prefix = ''

設定項目	説明
bucket	Alibaba Cloud OSS Bucket名
accessKeyId	yourAccessKeyIdをユーザーキーに置換
accessKeySecret	yourAccessKeySecretをユーザーキーに置換
endPoint	Alibaba Cloud endpointアドレス
prefix	マイグレーションするパスのプレフィックス。Bucketの全データをマイグレーションする場合は、prefixを空欄にします

3.6 QiniuデータソースmigrateQiniuの設定

QiniuからVODにマイグレーションする場合は、この部分の設定を行います。具体的な設定項目および説明は以下のとおりです。

# QiniuからVODへのマイグレーションの設定セクション
[migrateQiniu]
bucket = 'bucket-qiniu'
accessKeyId = 'AccessKey'
accessKeySecret = 'SecretKey'
endPoint = 'www.bkt.clouddn.com'
prefix = ''

設定項目	説明
bucket	Qiniu Kodo Bucket名
accessKeyId	AccessKeyをユーザーキーに置換
accessKeySecret	SecretKeyをユーザーキーに置換
endPoint	QiniuダウンロードアドレスはdownloadDomainに対応
prefix	マイグレーションするパスのプレフィックス。Bucketの全データをマイグレーションする場合、prefixを空欄にします

制限事項

• このツールは1回限りのマイグレーションツールとして設計されています。マイグレーションはオリジンサーバーのファイルスキャン、マイグレーション中、マイグレーションの完了の3段階に分かれます。ファイルスキャンの完了後は、設定変更が必要な場合は、md5ファイルのチェックでエラーが発生しないように、dbファイルをクリアする必要があります（migrate.dbの削除またはdbストレージパスの修正）。
• マイグレーションするファイルは接尾辞を付けて表示する必要があります。
• HLS/DASHのマイグレーションは現在サポートしていません。
• マイグレーション後は、元のビデオ間のディレクトリ関係は維持できず、各ビデオには独立したFileIdがあり、相互には関連していません。

マイグレーションフローの概要

1. 設定ファイルが読み取られ、セクションがマイグレーションtypeに従って読み取られ、パラメータがチェックされます。
2. オリジンサーバーはマイグレーションタイプに従ってスキャンされ、マイグレーションタスクが生成されます。
3. スキャンが完了すると、マイグレーションが実行され、各タスクの結果および全体の進捗が出力されます。
4. マイグレーションが完了すると、詳細情報が結果ファイルに出力されます。