tencent cloud

피드백

로그 검색 설정

마지막 업데이트 시간:2024-06-24 16:09:30

    소개

    로그 검색은 실시간 로그 기능이라고도 합니다. 클라우드 오브젝트 스토리지(Cloud Object Storage, COS)는 로그 검색 능력을 지원하고 버킷과 관련된 다양한 요청 로그를 기록하고 로그 데이터에 대한 실시간 검색과 분석을 구현할 수 있습니다. COS 콘솔에서 버킷에 대한 이 기능을 활성화하여 이상 사건 역추적 및 트러블 슈팅 등 작업을 완성하는 것을 도울 수 있습니다.
    주의
    COS 버킷에 대한 실시간 로그 기능을 활성화하려면 먼저 클라우드 로그 서비스(CLS) 활성화가 필요합니다.
    실시간 로그 조회 기능을 사용하면 클라우드 로그 서비스(CLS)로부터 청구되는 요금이 발생하며, 자세한 과금 기준은 CLS 과금 개요를 참고하십시오.
    현재 COS의 로그 검색 기능이 지원되는 레진은 베이징, 광저우, 상하이, 청두, 난징, 충칭, 중국 홍콩, 실리콘 밸리, 싱가포르, 봄베이, 프랑크푸르트, 토론토, 선전 금융, 상하이 금융을 포함합니다. 후속적으로 더 많은 레진을 지원할 예정이니 제품 동향에 주목해 주시길 바랍니다.
    COS는 로그 데이터의 100% 정확성을 보장하지 않으며, 참고용으로만 사용될 뿐 계량 및 과금 근거로 사용되지 않습니다.

    조작 절차

    로그 검색 활성화

    1. COS 콘솔에 로그인합니다.
    2. 왼쪽 네비게이션바에서 버킷 리스트를 클릭하여 버킷 리스트 관리 페이지로 이동합니다.
    3. 로그 검색 활성화가 필요한 버킷을 찾고, 해당 버킷 명칭을 클릭하여 해당 버킷 관리 페이지로 이동합니다.
    4. 왼쪽 네비게이션바에서 로그 관리 > 로그 검색을 선택합니다.
    5. 로그 검색 페이지에서 현재 버킷에 대한 실시간 로그 기능이 활성화되지 않았으면 즉시 활성화를 클릭하여 사용하십시오.
    설명:
    활성화 성공 후 해당 버킷의 접근 로그는 CLS의 동일한 레진의 로그 주제에 전달되며, 로그 주제 명칭은 cos-log-store입니다. 최초 활성화는 권한 부여가 필요합니다.

    
    
    

    필드 통계분석 활성화

    로그 검색은 쿼리문을 기입할 필요가 없이 필드에 따른 빠른 통계분석을 지원합니다. 기본적으로 지원되는 필드는 로그 필드 설명을 참고하시고 더 많은 정보는 빠른 분석을 참조하십시오.
    주의:
    로그에 대해 특정 필드에 따른 통계분석을 수행하려면 해당 필드에 대한 통계를 활성화해야 합니다. 다음 2가지 방식을 통해 빠르게 활성화할 수 있습니다.

    방식 1: 원시 로그 페이지에서 활성화

    1. 원시 로그 페이지로 이동합니다.
    2. 활성화할 필드를 찾고 즉시 활성화를 클릭합니다.
    
    
    

    방식 2: 인덱스 구성에서 활성화

    1. 인덱스 구성을 클릭하여 인덱스 구성 페이지로 이동합니다.
    
    
    
    
    2. 인덱스 구성 페이지에서 오른쪽 상단에 있는 편집을 클릭하고, 활성화할 필드를 찾은 다음 스위치를 켜고 오류가 없는지 확인한 후 확인을 클릭하여 저장합니다.
    
    
    
    3. 활성화 성공 후 해당 필드의 통계분석 상황을 조회할 수 있습니다. 특정 숫자를 클릭하면 해당 검색 분석문 및 도표가 생성됩니다.
    
    
    

    검색 분석문 입력

    주의:
    인덱스 구성은 클라우드 로그 서비스(Cloud Log Service, CLS)를 이용하여 검색 분석을 수행하기 위한 필수 조건이며, 로그에 대한 검색 분석을 수행하려면 반드시 검색을 활성화해야 합니다. 인덱스 구성은 비교적 복잡하므로 인덱스 구성 편집에 있는 추천 구성을 사용하면 대다수의 사용 수요를 충족시킬 수 있습니다. 더 많은 관련 정보는 인덱스 구성을 참고하십시오.
    검색과 분석문의 전제 조건 및 사용 설명은 문법 규칙을 참고하시고, 버킷 접근 로그 분석 방법은 COS 접근 로그 분석 모범 사례를 참고하십시오.
    검색 분석문은 검색 조건SQL문으로 구성되며, 검색 분석문을 입력하여 접근 로그에 대한 검색 및 통계분석을 수행합니다.
    검색 조건: 로그 매칭에 필요한 조건을 지정하면 해당 조건에 부합되는 로그를 반환합니다. 예를 들어 status:404를 사용하여 응답 상태 코드가 404인 앱 요청 로그를 검색합니다. 검색 조건이 비어 있거나 *일 때 검색 조건이 없이 모든 로그를 나타냅니다. 더 많은 문법 규칙 및 예시 정보는 검색 조건 문법을 참고하십시오.
    SQL문: 검색 조건에 부합되는 로그에 대한 통계분석을 수행하여 통계분석 결과를 반환합니다. 예를 들어 status:404 | select count(*) as logCounts를 사용하여 응답 상태 코드가 404인 로그 수량을 통계합니다. 더 많은 문법 사용 및 예시 정보는 SQL문 문법을 참고하십시오.
    
    
    
    
    1. 로그 검색 페이지에서 분석문 검색 입력 모드를 선택하며, 인터랙션 모드와 스테이트먼트 모드의 두 가지 유형을 지원합니다.
    인터랙션 모드: 마우스로 클릭하여 검색 조건 및 통계분석 규칙을 지정하면 검색 분석문이 자동으로 생성되므로 사용성이 높습니다.
    
    
    
    
    스테이트먼트 모드: 문법 규칙에 부합되는 검색 분석문을 직접 입력하므로 유연성이 높습니다.
    
    
    
    
    2. 문법 규칙을 전환하려면 풀다운을 클릭하여 문법 규칙을 선택하여 전환할 수 있습니다. CQL 및 Lucene를 지원하며, 더 많은 문법 규칙 및 예시 정보는 검색 조건 문법을 참고하십시오.
    
    
    
    
    3. 검색 분석문을 입력한 다음 시간 범위를 선택하고, 검색 버튼을 클릭하면 해당 버킷에서 CLS로 보고된 접근 로그를 검색할 수 있습니다.

    로그 검색 결과, 통계분석 결과 조회

    검색 성공 후 로그 검색 페이지에서 접근 로그의 검색 결과, 통계분석 결과를 조회할 수 있습니다. 원시 로그통계 도표에 각각 해당하며, 빠른 전환을 지원합니다. 자세한 설명은 다음과 같습니다.
    원시 로그: 검색 분석문에 검색 조건만 포함되는 경우, 원시 로그에서 검색 조건과 매칭되는 로그를 조회할 수 있으며, 기본적으로 로그 시간에 따라 역순으로 나열됩니다.
    통계 도표: 검색 분석문에 SQL문이 포함되는 경우, 통계 도표에서 분석 결과를 조회할 수 있고, 동시에 원시 로그에서 검색 조건에 부합되는 로그를 조회하여 분석 통계 결과와 원시 로그를 비교할 수 있습니다.

    원시 로그

    
    
    
    
    1.1 현재 검색 조건에서 지정된 시간 범위 내의 로그 통계 상황에 대한 조회를 지원하며, 주상도로 표시됩니다.
    
    
    
    
    1.2 로그 데이터는 기본적으로 원시 형태로 표시되며, 사용자 정의 구성을 지원합니다.
    
    
    
    
    1.3 로그 데이터에서는 ‘표시 필드’만 표시되며, 더 많거나 숨겨진 로그에 해당하는 필드 정보를 조회하려면 다음 3가지 방식을 통해 실현할 수 있습니다.
    리스트 조작: 원시 로그에서, 왼쪽 패널에서 해당 필드를 빠르게 찾은 후 표시하기 또는 숨기기를 클릭하면 구성이 완성됩니다.
    
    
    
    
    로그 상세정보: 특정 로그를 전개하여 상세정보를 조회하며, 조회 아이콘을 클릭하면 특정 필드를 빠르게 숨기거나 표시할 수 있습니다. 각 로그에 대해 JSON 포맷의 데이터를 조회할 수 있으며, 원클릭 복사가 지원됩니다. 또한 필드값을 클릭하여 사용자 정의 점프도 수행할 수 있습니다.
    
    
    
    
    페이지 구성: 오른쪽에 있는 ‘페이지: 기본 구성’을 클릭하고 구성 관리를 선택합니다. 표시 필드를 일괄 설정할 수 있으며, 적용을 클릭하면 구성이 완성됩니다.
    
    
    
    
    
    
    

    통계 도표

    통계 도표는 기본적으로 테이블 유형으로 분석 결과를 표시하며, 오른쪽에 있는 ‘도표 구성’을 통해 도표 유형 및 관련 정보를 사용자 정의할 수 있습니다. 버킷 접근 로그에 대한 시각화 및 경고의 구성을 수행하려면 CLS 콘솔로 이동하십시오.
    
    
    
    

    로그 다운로드 및 분석 결과 내보내기

    로그 다운로드

    1. 오른쪽에 있는 다운로드 버튼을 클릭하고 로그 다운로드를 선택합니다.
    
    
    
    
    2. 팝업된 윈도우에서 아래와 같은 정보를 구성하고 오류가 없음을 확인한 후 내보내기를 클릭합니다.
    
    
    
    
    3. 완성 후 하나의 내보내기 태스크가 생성되며, 이때 자동으로 내보내기 기록 페이지로 이동하여 현재 태스크 진행 상황을 조회할 수 있고, 태스크의 삭제 및 다운로드를 지원합니다. 대기 중에 현재 페이지에서 나갈 수 있으며, 오른쪽에 있는 다운로드 버튼에서 기록 내보내기를 클릭하면 해당 페이지로 다시 이동할 수 있습니다.
    
    
    
    

    분석 결과 내보내기

    오른쪽에 있는 분석 결과 내보내기를 클릭하면 분석 결과를 로컬로 다운로드할 수 있습니다.
    
    
    
    

    로그 검색 끄기

    특정 버킷에 대한 로그 검색 기능을 계속 사용하지 않으려면 로그 검색 끄기를 클릭할 수 있습니다.
    주의:
    끄기 전에 먼저 CLS 콘솔로 이동하여 빈 로그 주제가 있는지를 확인하십시오. 제때에 삭제하지 않으면 요금이 발생합니다.

    로그필드 설명

    필드 순번
    명칭
    의미
    예시
    1
    eventVersion
    기록 버전
    1.0
    2
    bucketName
    버킷 명칭
    examplebucket-1250000000
    3
    qcsRegion
    요청 레진
    ap-beijing
    4
    eventTime
    사건 시간(요청 종료 시간, UTC 0시 타임스탬프)
    2018-12-01T11:02:33Z
    5
    eventSource
    사용자 접근 도메인 네임
    examplebucket-1250000000.cos.ap-guangzhou.myqcloud.com
    6
    eventName
    사건 명칭
    UploadPart
    7
    remoteIp
    출처 IP
    192.168.0.1
    8
    userSecretKeyId
    사용자 접근 KeyId
    AKIDNYVCdoJQyGJ5brTf
    9
    reqBytesSent
    요청 바이트(Bytes)
    83886080
    10
    deltaDataSize
    저장량 변경 요청(Bytes)
    808
    11
    reqPath
    요청한 파일 경로
    /folder/text.txt
    12
    reqMethod
    요청 방법
    put
    13
    userAgent
    사용자 UA
    cos-go-sdk-v5.2.9
    14
    resHttpCode
    HTTP 복귀 코드
    404
    15
    resErrorCode
    오류 코드
    NoSuchKey
    16
    resErrorMsg
    오류 정보
    The specified key does not exist.
    17
    resBytesSent
    복귀 바이트(Bytes)
    197
    18
    resTotalTime
    총 요청 시간(밀리초, 마지막 바이트에 응답한 시간-처음 바이트가 요청된 시간)
    4295
    19
    logSourceType
    로그 소스 유형
    USER(사용자 접근 요청), CDN(CDN Origin-Pull 요청)
    20
    storageClass
    저장 유형
    STANDARD,STANDARD_IA,ARCHIVE
    21
    accountId
    버킷 소유자 ID
    100000000001
    22
    requester
    접근자
    루트 계정 ID:서브 계정 ID, 익명 접근일 경우 -를 표시
    23
    requestId
    요청 ID
    NWQ1ZjY4MTBfMjZiMjU4NjRfOWI1N180NDBiYTY=
    24
    objectSize
    오브젝트 사이즈(Bytes)
    808, 멀티파트 업로드를 사용하면 objectSize 필드는 업로드가 완성될 때 표시되고, 각 파트 업로드 기간에 해당 필드는 -를 표시
    25
    versionId
    오프젝트 버전 ID
    랜덤 문자열
    26
    targetStorageClass
    목표 저장 유형, 복사 조작의 요청이 개시되면 해당 필드가 기록됨
    STANDARD,STANDARD_IA,ARCHIVE
    27
    referer
    요청된 HTTP referer
    *.example.com또는 111.111.111.1
    28
    requestUri
    요청 URI
    ‘GET /fdgfdgsf%20/%E6%B5%AE%E7%82%B9%E6%95%B0 HTTP/1.1’
    29
    resTurnAroundTime
    서버 요청 시간(밀리초, 처음 바이트에 응답한 시간-마지막 바이트가 요청된 시간)
    4295
    30
    vpcId
    VPC 요청 ID
    ‘0’(비VPC)/‘12345’(VPC, ‘0’인 아닌 string)

    일반 예시

    다음은 몇몇 일반 예시를 제공하며, 더 많은 사례가 후속적으로 보충될 것이니 제품 동향을 주목해 주시길 바랍니다. 더 많은 관련 정보는 시나리오 예시를 참고하십시오.

    사례 1: TOP50의 접근량 IP

    1. 스테이트먼트 모드를 선택하고 다음 SQL문을 입력합니다.
    * | select count(*) as PV, remoteIp as IP group by IP order by PV desc limit 50
    count(*) as PV: 모든 로그 수, 즉 PV를 통계합니다.
    group by IP : IP별로 그룹화하고 각 IP에 해당하는 PV를 통계합니다.
    order by PV desc: PV 내림차순에 따라 정렬하고, PV가 높은 IP를 우선적으로 표시합니다.
    limit 50: 조회 결과 중 처음 50개, 즉 PV가 가장 높은 50개 IP만 반환합니다.
    
    
    
    2. 시간 범위를 선택하고, 검색을 클릭하여 통계분석 페이지로 이동하여 통계분석 결과를 조회할 수 있으며, 오른쪽에서 도표 유형을 전환할 수 있습니다.
    
    
    
    3. 조회문 실행이 실패하면 오류 정보에서 지적된 오류 위치를 확인할 것을 권장하며, 오류 원인은 검색 분석 오류。를 참고할 수 있습니다.

    사례 2: 최근 90일 접근 파일 조회

    1. 스테이트먼트 모드를 선택하고 다음 SQL문을 입력합니다.
    * | select reqPath group by reqPath limit 1000000
    
    
    
    2. 시간 범위를 최근 90일로 선택하고, 검색을 클릭하여 통계분석 페이지로 이동하여 통계분석 결과를 조회할 수 있으며, 오른쪽에서 도표 유형을 전환할 수 있습니다.
    
    
    

    사례 3: 지정된 프리픽스의 요청 수, 트래픽 및 저장량 통계

    예를 들어 버킷 내에서 다음 파일에 모두 로그 요청이 생성되면 지정된 프리픽스가 1인 오브젝트(즉 파일 경로가 ‘/111’, ‘/112’, ‘/101’인 오브젝트)의 요청 수, 트래픽 및 저장량에 대한 통계를 원합니다.
    
    
    
    
    주의:
    오브젝트 트래픽: 로그 요청에서 오브젝트의 총 반환 바이트를 의미합니다.
    오브젝트 저장량: 로그 요청에서 ‘-’를 포함하지 않는 오브젝트 사이즈(objectSize)의 합을 의미합니다. 자세한 내용은 로그 필드 설명을 참고하십시오.
    1. 인터랙션 모드를 선택하고, 검색 조건 추가를 클릭하고, reqPath 포함***/1지정하고 시간 범위를 지정하고, 프리픽스가 1인 오브젝트 요청 로그를 선별하며, 여기서 *는 와일드카드입니다.
    
    
    
    2. 입력창에서 다음 스테이트먼트를 입력합니다.
    SELECT count(*) as "요청 수",sum(resBytesSent) as "트래픽",SUM(CAST(objectSize AS INT)) AS "저장량" WHERE objectSize != '-'
    
    
    
    3. 또는 절차 1에서** 스테이트먼트 모드를 선택하고\\*\\*, 다음 SQL문을 직접 입력합니다.
    reqPath:"/1\\*" | SELECT count(\\*) as "요청 수",sum(resBytesSent) as "트래픽",SUM(CAST(objectSize AS INT)) AS "저장량" WHERE objectSize != '-'
    
    
    
    4. 시간 범위를 선택하고, 검색을 클릭하여 통계분석 페이지로 이동하여 통계분석 결과를 조회할 수 있으며, 오른쪽에서 도표 유형을 전환할 수 있습니다.
    
    
    

    사례 4: 특정 파일 접근 불가, 원인 파악

    1. 인터랙션 모드를 선택하고 검색 조건 추가를 클릭합니다. 찾을 파일명을 지정하고, 시간 범위를 선택한 후 검색을 클릭하여 로그를 조회합니다.
    
    
    
    2. 왼쪽에 있는 필드 명칭을 클릭하여 빠른 분석을 열고, resHttpCode 필드에 따라 통계분석을 수행합니다. 이상 상태 코드의 로그 정보, 예를 들어 403 상태 코드, 204 상태 코드 등을 조회합니다.
    
    
    
    3. 이상 상태 코드에 대하여 상태 코드를 클릭하고,** 이번 검색에 추가\\*\\*를 선택하여 로그를 선별합니다. 로그 상세정보에서 기타 필드의 상황을 조회할 수 있으며, reqMethod 필드 등에 중점을 둘 것을 권장합니다. 예시에서는 해당 파일에 대한 삭제 조작이 실행되어 오브젝트 접근이 실패함을 나타냅니다.
    
    
    
    
    
    
    
    
    
    문의하기

    고객의 업무에 전용 서비스를 제공해드립니다.

    기술 지원

    더 많은 도움이 필요하시면, 티켓을 통해 연락 바랍니다. 티켓 서비스는 연중무휴 24시간 제공됩니다.

    연중무휴 24시간 전화 지원