tencent cloud

Data Lake Accelerator Goose FileSystem(GooseFS)은 Tencent Cloud에서 제공하는 고가용성, 안정성, 탄력성 Data Lake 가속 서비스입니다. Cloud Object Storage(COS)를 데이터 레이크 스토리지 기반으로 사용하여 스토리지 비용을 줄이고, 데이터 레이크 생태계에서 컴퓨팅 애플리케이션에 대한 통합 엔트리를 제공하여 빅 데이터 분석, 머신러닝 및 AI와 같은 비즈니스 액세스를 가속화합니다. 강력한 분산 클러스터 아키텍처를 사용하여 상위 레이어 컴퓨팅 애플리케이션을 위한 통합 네임스페이스 및 액세스 프로토콜을 제공하므로 다양한 스토리지 시스템에서 데이터를 더 쉽게 관리하고 전송할 수 있습니다.

제품 기능

GooseFS는 원스톱 캐시 솔루션을 제공하는 것을 목표로 하며 데이터 지역성, 고속 캐시 및 통합 스토리지 액세스 구문을 활용하는 고유한 강점을 가지고 있습니다. 아래와 같이 ‘컴퓨팅과 스토리지’를 연결하는 커넥터로서 데이터 레이크 생태계에서 핵심적인 역할을 합니다.

GooseFS에는 다음과 같은 기능이 있습니다.

1. 캐시 가속 및 데이터 지역성(Locality): GooseFS를 컴퓨팅 노드와 함께 배포하여 데이터 지역성을 개선할 수 있습니다. 고속 캐시 기능은 스토리지 성능을 향상시키고 COS에 대한 데이터 쓰기 대역폭을 증가시킬 수 있습니다.
2. 통합 스토리지 구문: GooseFS는 COS, Hadoop, S3, K8S CSI, FUSE 등 여러 스토리지 서비스의 스토리지 구문을 지원하기 위해 UFS(Unified FileSystem) 구문을 제공하므로 다양한 생태계 및 사용 사례에 적합합니다.
3. Tencent Cloud 생태계 서비스: 로그, 인증, 모니터링 서비스를 제공하여 COS와 동일한 운영이 가능합니다.
4. Namespace 관리 기능: GooseFS는 다양한 비즈니스 및 Under File System에 대해 다양한 캐시 읽기/쓰기 및 TTL 관리 정책을 제공합니다.
5. 메타데이터 Table 감지: GooseFS Catalog는 빅 데이터 시나리오에서 메타데이터 Table을 감지하여 Table 수준에서 Cache를 미리 가져올 수 있습니다.

제품 장점

GooseFS는 데이터 레이크 시나리오에서 다음과 같은 장점을 가지고 있습니다.

데이터 I/O 성능

GooseFS는 상위 레이어 컴퓨팅 애플리케이션이 데이터 I/O를 가속화하기 위해 자주 액세스해야 하는 핫 데이터를 투명하고 효율적으로 캐시할 수 있는 컴퓨팅 노드 근처에 분산 공유 캐시를 활성화합니다. 또한 파일 데이터 쿼리 및 파일 목록 표시와 같은 빅 데이터 시나리오에서 메타데이터 작업을 더 빠르게 수행할 수 있는 메타데이터 캐시 기능이 있습니다. 빅 데이터 버킷과 함께 파일 이름 변경을 더욱 가속화할 수 있습니다. 또한 비즈니스 요구 사항에 따라 MEM, SSD, NVME 및 HDD를 비롯한 다양한 스토리지 미디어를 선택하여 비즈니스 비용과 데이터 액세스 성능의 균형을 맞출 수 있습니다.

통합 스토리지

GooseFS는 COS 뿐만 아니라 HDFS, K8S CSI, FUSE 등 다양한 스토리지 서비스의 스토리지 구문을 지원하는 통합 네임스페이스를 제공합니다. 이는 상위 레이어 비즈니스를 위한 통합 통합 스토리지 솔루션을 제공하고 비즈니스 운영 구성을 단순화합니다. 통합 스토리지는 서로 다른 데이터베이스 간의 장벽을 허물고 상위 레이어 애플리케이션에서 데이터를 더 쉽게 관리하고 전송할 수 있도록 하여 데이터 사용 효율성을 향상시킵니다.

생태계 친화성

GooseFS는 Tencent Cloud 빅 데이터 플랫폼 프레임워크와 완벽하게 호환되며 맞춤형 방식으로 온프레미스에 배포할 수도 있어 우수한 생태계 친화성을 보여줍니다. 예를 들어 Elastic MapReduce(EMR)에서 GooseFS를 사용하여 빅 데이터 비즈니스를 가속화하고 CVM 또는 자체 구축 IDC에 편리하게 배포할 수 있습니다. 또한 투명한 가속을 지원합니다. 이미 COSN 및 CHDFS를 활성화한 경우 비즈니스 코드 및 액세스 경로를 수정할 필요 없이 GooseFS를 통해 COSN 및 CHDFS 비즈니스 액세스를 자동으로 가속화하도록 구성을 수정하기만 하면 됩니다.