ES로 데이터 내보내기

Recent Pages

ES로 데이터 내보내기

마지막 업데이트 시간:2024-06-24 16:23:48

소개
Elasticsearch Service(ES)로 데이터 내보내기는 Serverless Cloud Function 기반의 Tencent Cloud COS에서 제공하는 데이터 내보내기 솔루션으로, 사용자는 CSV, JSON 등의 파일 형식의 데이터를 리전 내 Tencent Cloud Elasticsearch 서비스로 내보낼 수 있으며, 로그 분석, 이상 모니터링 등 다양한 서비스를 빠르게 구축하는데 사용됩니다.
주의 사항
ES로 데이터 내보내기 기능에는 COS 데이터 인덱스 인터페이스가 포함됩니다. 제한 사항에 대한 자세한 내용은 Select 개요를 참고하십시오.
COS 콘솔에서 버킷에 ES로 데이터 내보내기 규칙을 추가한 적이 있는 경우 SCF 콘솔에서 기존에 생성한 ES로 데이터 내보내기 함수를 확인할 수 있습니다. 이 ES로 데이터 내보내기 함수를 삭제하거나 수정하지 마십시오. 삭제 및 수정할 경우 규칙이 적용되지 않을 수 있습니다.
현재 ES로 데이터 내보내기 기능은 광저우, 상하이, 베이징, 청두만 지원합니다.
COS의 ES로 데이터 내보내기 기능은 SCF 서비스에 종속됩니다. SCF 서비스는 사용자에게 Free Tier를 제공하며 무료 한도를 초과한 부분에 대해서는 SCF Pricing에 따라 청구됩니다.
작업 단계
1. COS 콘솔에 로그인합니다.
2. 왼쪽 사이드바에서 애플리케이션 통합 > 데이터 내보내기를 클릭하고 ES로 데이터 내보내기를 찾습니다.
3. 규칙 설정을 클릭하여 규칙 설정 페이지로 이동합니다.
4. 함수 추가를 클릭합니다.
주의：
 SCF 서비스가 활성화되지 않은 경우 SCF 콘솔에서 SCF 서비스를 활성화하고 안내에 따라 서비스 권한 부여를 완료하십시오.
5. 팝업 창에서 다음과 같이 정보를 설정합니다.
﻿
함수 이름 접두사: 함수의 고유 식별자로, 생성 후에는 수정할 수 없습니다. SCF 콘솔에서 해당 함수를 조회할 수 있습니다.
시나리오 선택: 내보낼 로그 소스를 선택하십시오. COS 로그 파일 내보내기 사용을 권장합니다.
소스 버킷: 로그가 저장되는 버킷의 이름으로, COS 로그 파일 내보내기를 선택하는 경우 먼저 COS 로그 스토리지 기능을 활성화해야 합니다.
SCF 권한 부여: ES로 데이터를 내보내기는 SCF가 버킷에서 로그 파일을 읽을 수 있는 권한이 필요합니다. 따라서 이 권한을 추가해야 합니다.
6. 사전 설정 매개변수 입력을 클릭하여 ES로 데이터 내보내기를 설정합니다. 설정 항목에 대한 설명은 다음과 같습니다.
﻿
서비스 버전: ES 버전, 7.x 및 6.x를 지원합니다.
액세스 방법: ES의 액세스 방법입니다. VPC 내부 네트워크 액세스를 선택하는 경우 해당 VPC를 입력해야 합니다.
액세스 주소: ES의 액세스 주소는 http:// 또는 https://로 시작해야 합니다.
인덱스 이름: 생성한 ES 검색 인덱스입니다.
인증 설정: ES 인증 방식이 Tencent Cloud ES인 경우 현재 인증 필요만 지원하므로 해당 사용자 이름과 사용자 비밀번호를 입력해야 합니다.
속도 최댓값: ES로 내보내기 위한 속도 최댓값입니다.
7. 일부 맞춤 설정된 로그 데이터 추출을 원하시면 이전을 클릭하여 설정하십시오. 일반적으로 확인을 직접 클릭하여 함수 추가를 완료하십시오.
﻿

 새로 생성한 함수에 다음과 같은 작업을 진행할 수 있습니다.
로그를 클릭하여 ES로 데이터 내보내기의 이전 실행을 조회합니다. ES로 데이터 내보내기 시 오류가 발생하면 로그를 클릭하여 SCF 콘솔로 빠르게 리디렉션하여 로그 오류 세부 정보를 조회할 수도 있습니다.
세부 사항을 클릭하면 현재 함수의 설정 세부 사항을 볼 수 있습니다.
편집을 클릭하여 ES로 데이터 내보내기 규칙을 수정합니다.
트리거를 클릭하여 버킷의 기존 로그를 선택하고 ES로 내보내기를 직접 트리거할 수 있습니다.
삭제를 클릭하여 사용하지 않는 ES로 데이터 내보내기 규칙을 삭제합니다.