$ cd /usr/local$ mkdir /service$ cd /service$ wget https://downloads.tencentgoosefs.cn/goosefs/1.4.1/release/goosefs-1.4.1-bin.tar.gz
$ tar -zxvf goosefs-1.4.1-bin.tar.gz$ cd goosefs-1.4.1
${GOOSEFS_HOME}
がこのディレクトリの絶対パスを表します。
3. ${GOOSEFS_HOME}/conf
のディレクトリ下にconf/goosefs-site.properties
の設定ファイルを作成します。GooseFSはAIとビッグデータという2つのシナリオ向けの設定テンプレートを提供しており、上記のうち任意の内蔵テンプレートを使用できます。その後編集モードに進み、設定を変更します。
(1)AIシナリオテンプレートの使用に関するその他の情報については、GooseFS AIシナリオ本番環境設定の実践をご参照ください。$ cp conf/goosefs-site.properties.ai_template conf/goosefs-site.properties$ vim conf/goosefs-site.properties
$ cp conf/goosefs-site.properties.bigdata_template conf/goosefs-site.properties$ vim conf/goosefs-site.properties
goosefs-site.properties
内で次の設定項目を調整します。# Common properties# Masterノードhost情報の調整goosefs.master.hostname=localhostgoosefs.master.mount.table.root.ufs=${goosefs.work.dir}/underFSStorage# Security properties# 権限設定の調整goosefs.security.authorization.permission.enabled=truegoosefs.security.authentication.type=SIMPLE# Worker properties# workerノード設定の調整、ローカルキャッシュメディア、キャッシュパスおよびキャッシュ容量サイズの指定goosefs.worker.ramdisk.size=1GBgoosefs.worker.tieredstore.levels=1goosefs.worker.tieredstore.level0.alias=SSDgoosefs.worker.tieredstore.level0.dirs.path=/datagoosefs.worker.tieredstore.level0.dirs.quota=80G# User properties# ファイル読み取り書き込みキャッシュポリシーの指定goosefs.user.file.readtype.default=CACHEgoosefs.user.file.writetype.default=MUST_CACHE
goosefs.worker.tieredstore.level0.dirs.path
のパラメータを設定する前に、このパスを新規作成する必要があります。$ cd /usr/local/service/goosefs-1.4.1$ ./bin/goosefs-start.sh all
http://localhost:9201
およびhttp://localhost:9204
にアクセスして、MasterとWorkerの実行状態をそれぞれ確認できるようになります。conf/core-site.xml
設定の中でCOSNまたはCHDFSの必須設定項目を指定する必要があります。これには次に示すように、fs.cosn.impl
、fs.AbstractFileSystem.cosn.impl
、およびfs.cosn.userinfo.secretId
とfs.cosn.userinfo.secretKey
などが含まれますが、これらに限定されません。<!-- COSN related configurations --><property><name>fs.cosn.impl</name><value>org.apache.hadoop.fs.CosFileSystem</value></property><property><name>fs.AbstractFileSystem.cosn.impl</name><value>com.qcloud.cos.goosefs.CosN</value></property><property><name>fs.cosn.userinfo.secretId</name><value></value></property><property><name>fs.cosn.userinfo.secretKey</name><value></value></property><property><name>fs.cosn.bucket.region</name><value></value></property><!-- CHDFS related configurations --><property><name>fs.AbstractFileSystem.ofs.impl</name><value>com.qcloud.chdfs.fs.CHDFSDelegateFSAdapter</value></property><property><name>fs.ofs.impl</name><value>com.qcloud.chdfs.fs.CHDFSHadoopFileSystemAdapter</value></property><property><name>fs.ofs.tmp.cache.dir</name><value>/data/chdfs_tmp_cache</value></property><!--appId--><property><name>fs.ofs.user.appid</name><value>1250000000</value></property>
$ goosefs ns create myNamespace cosn://bucketName-1250000000/ \\--secret fs.cosn.userinfo.secretId=AKXXXXXXXXXXX \\--secret fs.cosn.userinfo.secretKey=XXXXXXXXXXXX \\--attribute fs.cosn.bucket.region=ap-xxx \\
–-secret
パラメータを使用してアクセスキーを指定し、なおかつ--attribute
を使用してHadoop-COS(COSN)のすべての入力必須パラメータを指定しなければなりません。具体的な入力必須パラメータについては、Hadoopツールをご参照ください。goosefs ns create MyNamespaceCHDFS ofs://xxxxx-xxxx.chdfs.ap-guangzhou.myqcloud.com/ \\--attribute fs.ofs.user.appid=1250000000--attribute fs.ofs.tmp.cache.dir=/tmp/chdfs
ls
コマンドによってリストアップすることができます。$ goosefs ns lsnamespace mountPoint ufsPath creationTime wPolicy rPolicy TTL ttlActionmyNamespace /myNamespace cosn://bucketName-125xxxxxx/3TB 03-11-2021 11:43:06:239 CACHE_THROUGH CACHE -1 DELETEmyNamespaceCHDFS /myNamespaceCHDFS ofs://xxxxx-xxxx.chdfs.ap-guangzhou.myqcloud.com/3TB 03-11-2021 11:45:12:336 CACHE_THROUGH CACHE -1 DELETE
$ goosefs ns stat myNamespaceNamespaceStatus{name=myNamespace, path=/myNamespace, ttlTime=-1, ttlAction=DELETE, ufsPath=cosn://bucketName-125xxxxxx/3TB, creationTimeMs=1615434186076, lastModificationTimeMs=1615436308143, lastAccessTimeMs=1615436308143, persistenceState=PERSISTED, mountPoint=true, mountId=4948824396519771065, acl=user::rwx,group::rwx,other::rwx, defaultAcl=, owner=user1, group=user1, mode=511, writePolicy=CACHE_THROUGH, readPolicy=CACHE}
番号 | パラメータ | 説明 |
1 | name | namespaceの名前 |
2 | path | namespaceのGooseFSにおけるパス |
3 | ttlTime | namespace下のディレクトリおよびファイルのttl期間 |
4 | ttlAction | namespace下のディレクトリおよびファイルのttl処理動作。FREEとDELETEの2つの処理動作があり、デフォルトではFREE |
5 | ufsPath | namespaceのufs上でのマウントパス |
6 | creationTimeMs | namespaceの作成時間。単位はミリ秒 |
7 | lastModificationTimeMs | namespace下のディレクトリおよびファイルの最終変更時刻。単位はミリ秒 |
8 | persistenceState | namespaceの永続化の状態 |
9 | mountPoint | namespaceがマウントポイントかどうか。常にtrue |
10 | mountId | namespaceのマウントポイントID |
11 | acl | namespaceのアクセス制御リスト |
12 | defaultAcl | namespaceのデフォルトのアクセス制御リスト |
13 | owner | namespaceのowner |
14 | group | namespaceのownerが所属するgroup |
15 | mode | namespaceのPOSIX権限 |
16 | writePolicy | namespaceの書き込みポリシー |
17 | readPolicy | namespaceの読み取りポリシー |
$ goosefs table attachdb --db test_db hive thrift://172.16.16.22:7004 test_for_demo
$ goosefs table ls test_db web_pageOWNER: hadoopDBNAME.TABLENAME: testdb.web_page (wp_web_page_sk bigint,wp_web_page_id string,wp_rec_start_date string,wp_rec_end_date string,wp_creation_date_sk bigint,wp_access_date_sk bigint,wp_autogen_flag string,wp_customer_sk bigint,wp_url string,wp_type string,wp_char_count int,wp_link_count int,wp_image_count int,wp_max_ad_count int,)PARTITIONED BY ()LOCATION (gfs://172.16.16.22:9200/myNamespace/3000/web_page)PARTITION LIST ({partitionName: web_pagelocation: gfs://172.16.16.22:9200/myNamespace/3000/web_page})
$ goosefs table load test_db web_pageAsynchronous job submitted successfully, jobId: 1615966078836
$ goosefs fs
ls
コマンドによってGooseFS内のファイルをリストアップすることができます。ルートディレクトリ下のすべてのファイルをリストアップする方法について、以下の例で示します。$ goosefs fs ls /
copyFromLocal
コマンドによって、データをローカルからGooseFSにコピーできます。$ goosefs fs copyFromLocal LICENSE /LICENSECopied LICENSE to /LICENSE$ goosefs fs ls /LICENSE-rw-r--r-- hadoop supergroup 20798 NOT_PERSISTED 03-26-2021 16:49:37:215 0% /LICENSE
cat
コマンドによってファイルの内容を確認できます。$ goosefs fs cat /LICENSEApache LicenseVersion 2.0, January 2004http://www.apache.org/licenses/TERMS AND CONDITIONS FOR USE, REPRODUCTION, AND DISTRIBUTION...
./underFSStorage
であり、persist
コマンドによってファイルをローカルファイルシステムに永続的に保存することができます。$ goosefs fs persist /LICENSEpersisted file /LICENSE with size 26847
PERSISTED
であれば、ファイルはすでにメモリ内にあることを表し、ファイルのステータスがNOT_PERSISTED
であれば、ファイルはメモリ内にないことを表します。$ goosefs fs ls /data/cos/sample_tweets_150m.csv-r-x------ staff staff 157046046 NOT_PERSISTED 01-09-2018 16:35:01:002 0% /data/cos/sample_tweets_150m.csv
$ time goosefs fs cat /data/s3/sample_tweets_150m.csv | grep-c tencent889real 0m22.857suser 0m7.557ssys 0m1.181s
$ goosefs fs ls /data/cos/sample_tweets_150m.csv-r-x------ staff staff 157046046ED 01-09-2018 16:35:01:002 0% /data/cos/sample_tweets_150m.csv$ time goosefs fs cat /data/s3/sample_tweets_150m.csv | grep-c tencent889real 0m1.917suser 0m2.306ssys 0m0.243s
$ ./bin/goosefs-stop.sh local
この記事はお役に立ちましたか?