[GCP] 핵심 서비스 정리

Cloud Run이란?

서버리스 컨테이너 실행 플랫폼

코드나 컨테이너를 손쉽게 배포하고 자동으로 확장해주는 완전 관리형 서버리스 컨테이너 실행 플랫폼

Cloud Run은 Google의 확장 가능한 인프라에서 직접 컨테이너를 실행할 수 있게 해주는 관리형 컴퓨팅 플랫폼입니다.

컨테이너 이미지를 빌드할 경우 모든 프로그래밍 언어로 작성된 코드를 Cloud Run에 배포할 수 있습니다. 실제로 컨테이너 이미지 빌드는 선택사항입니다. Go, Node.js, Python, Java, .NET Core, Ruby 또는 지원되는 프레임워크를 사용하는 경우 사용 중인 언어의 권장사항에 따라 컨테이너를 빌드하는 소스 기반 배포 옵션을 사용할 수 있습니다.

Google은 Cloud Run을 Google Cloud에서 다른 서비스와 함께 잘 작동하도록 빌드했으므로 완전한 기능을 갖춘 애플리케이션을 빌드할 수 있습니다.

간단히 말해, Cloud Run을 사용하면 개발자가 코드를 작성하는 데 시간을 사용할 수 있게 하고 Cloud Run 서비스를 운영, 구성, 확장하는 데는 시간을 거의 쓰지 않아도 됩니다. Cloud Run으로 생산성을 높이기 위해 클러스터를 만들거나 인프라를 관리할 필요가 없습니다

 

Cloud Run - Functions이란?

서버리스 이벤트 기반 단일 목적 함수 실행

Cloud Run Functions는 클라우드 서비스를 빌드하고 연결하기 위한 서버리스 실행 환경입니다.

 

Cloud Run Functions를 사용하면 클라우드 인프라와 서비스에서 발생하는 이벤트에 연결되는 단일 목적의 간단한 함수를 작성할 수 있습니다. 함수는 감시 중인 이벤트 발생 시에 트리거됩니다. 코드는 Cloud Run의 완전 관리형 환경에서 실행됩니다. 인프라를 프로비저닝하거나 서버를 관리할 필요가 없습니다.

 

다양한 지원되는 프로그래밍 언어를 사용하여 Cloud Run 함수를 작성할 수 있습니다. 지원되는 언어 중 하나로 표준 런타임 환경에서 함수를 사용하고 실행할 수 있으므로 이동성과 로컬 테스트를 모두 쉽게 수행할 수 있습니다.

 

Q. Cloud Run은 계속 실행되어 있는거야?

 

ChatGPT의 말:

Cloud Run은 기본적으로 요청이 들어올 때만 컨테이너 인스턴스를 실행하고, 요청이 없으면 자동으로 인스턴스를 중지하는 서버리스 방식이에요.

즉,

• 요청 시 컨테이너가 자동으로 시작되고,
• 요청이 없으면 자동으로 중지되어 비용이 절감됩니다.

하지만 필요에 따라 최소 인스턴스 수를 설정해서 항상 일정 수 이상의 인스턴스를 계속 실행하도록 유지할 수도 있습니다.

요약하면,

기본은 필요할 때만 실행되고, 요청 없으면 멈추지만, 설정에 따라 계속 실행되도록 할 수 있습니다.

 

비용도 요청에 따라할지 인스턴스의 사용시간으로 할지 결정할 수 있다.

 

Q. Cloud Run과 Cloud Run Functions의 차이를 간단히 정리하면:

• Cloud Run
  • 컨테이너 기반 애플리케이션 전체를 배포하고 실행하는 완전 관리형 서버리스 플랫폼
  • HTTP 요청에 응답하는 웹 서비스, API 서버 등 복잡한 애플리케이션 실행에 적합
  • 컨테이너 단위로 서비스 단위 배포 및 확장 가능
• Cloud Run Functions
  • 이벤트 기반 단일 목적 함수(Function)를 서버리스 환경에서 실행하는 서비스
  • 클라우드 이벤트에 반응하는 간단한 함수 작성에 최적화
  • 인프라 관리 없이 이벤트 트리거 기반 자동 실행 및 확장 지원

요약하자면,
Cloud Run은 컨테이너 단위의 전체 애플리케이션 실행에, Cloud Run Functions는 이벤트 기반 단일 함수 실행에 특화된 서비스입니다.

 

Cloud Storage란?

객체 스토리지 서비스

클라우드에 파일과 데이터를 안전하게 저장하고 관리할 수 있는 확장 가능한 객체 스토리지 서비스

 

Cloud Storage는Google Cloud에 객체를 저장하는 서비스입니다. 객체는 모든 형식의 파일로 구성된 변경할 수 없는 데이터 조각입니다. 객체는 버킷이라는 컨테이너에 저장합니다.

 

모든 버킷은 프로젝트와 연결되며, 프로젝트를 조직 아래에 그룹화할 수 있습니다. Google Cloud 의 각 프로젝트, 버킷, 관리형 폴더, 객체는 Compute Engine 인스턴스와 같은 Google Cloud의 리소스입니다.

 

프로젝트를 만든 후 Cloud Storage 버킷을 만들고, 버킷에 객체를 업로드하고, 버킷에서 객체를 다운로드할 수 있습니다. 또한 지정된 주 구성원 또는 공개 인터넷의 모든 사용자가 데이터에 액세스 가능하도록 권한을 부여할 수 있습니다.

 

Vertex AI - RAG Engine란?

조직 데이터를 활용해 대규모 언어 모델의 답변 정확도를 높이는 검색 증강 생성(RAG) 플랫폼

Vertex AI 플랫폼의 구성요소인 Vertex AI RAG Engine은 검색 증강 생성 (RAG)을 용이하게 합니다. Vertex AI RAG 엔진은 컨텍스트 증강 대규모 언어 모델 (LLM) 애플리케이션을 개발하기 위한 데이터 프레임워크이기도 합니다. 컨텍스트 증강은 데이터에 LLM을 적용할 때 발생합니다. 이는 검색 증강 생성(RAG)을 구현합니다.

 

LLM의 일반적인 문제는 비공개 지식, 즉 조직의 데이터를 이해하지 못한다는 것입니다. Vertex AI RAG Engine을 사용하면 추가 비공개 정보로 LLM 컨텍스트를 보강할 수 있습니다. 모델이 할루시네이션을 줄이고 질문에 더 정확하게 답변할 수 있기 때문입니다.

 

추가 지식 소스를 LLM이 보유한 기존 지식과 결합하여 더 나은 컨텍스트가 제공됩니다. 쿼리와 함께 개선된 컨텍스트는 LLM의 응답 품질을 향상시킵니다. 

 

Vertex AI란?

Vertex AI - Vertex AI Studio란?

GCP 콘솔 상에서, 대규모 언어 모델의 프롬프트를 설계, 테스트, 맞춤화하고 결과를 평가할 수 있는 통합 개발 환경 또는 도구

프롬프트 만들기 - 프롬프트를 편집하고, 테스트해볼 수 있다.
콘솔 상에서, 채팅에서 프롬프트/모델 지정/파라미터 조정 테스트 후, "코드 가져오기" 기능을 통해 개발 프레임워크(Python, Node.js, Android, Swift, Web, Flutter, Url)별 코드를 참고할 수 있다. 시드를 설정하면 동일한 응답을 받을 수 있게 할 수 있다.
프롬프트 갤러리 - 일반적인 태스크를 해결할 수 있도록 미리 만들어진 프롬프트인 샘플 프롬프트 모음

프롬프트 관리 - 프롬프트를 만들어두고, 레포지토리처럼 관리할 수 있다.

Media Studio - 텍스트를 기반으로, 이미지/오디오/비디오 생성 관련 또는 이미지/음성을 Input으로 하여 이미지/오디오/비디오를 생성하는 예제를 테스트해보고 직접 코드로 추출할 수 있게 함, 유형별로 LLM 모델이 다르다.

 

조정 - 기존 Gemini 모델을 기반으로 데이터셋 기반으로 튜닝된 모델을 만들 수 있는 기능을 제공

 

실시간 스트리밍(feat. Gemini Live) - Gemini의 실시간 영상/PC화면 기반의 LLM 처리를 테스트 해볼 수 있게함

Vertex AI - Agent Builder란?

GCP 콘솔 상에서, 사용자가 대화형 에이전트를 쉽게 만들고 관리할 수 있도록 도와줍니다.
이 도구는 주로 Dialogflow를 기반으로 하며, 자연어 처리(NLP) 기술을 활용하여 사용자와의 대화를 이해하고 응답할 수 있는 챗봇이나 가상 비서를 구축하는 데 사용됩니다.

Agent Garden - 완성된 Agent 샘플(Github 링크 포함)과 API를 사용하여 Agent의 기능을 확장할 수 있는 Connector 또는 도구들의 모음(ADK 샘플 코드 제공)

 

Agent Engine

 

RAG Engine

 

Vertex AI Search - Vertex AI Search는 정보 검색을 위해 즉시 사용 가능한 RAG 시스템 역할을 하며 제품 카탈로그, 미디어 라이브러리, 임상 데이터 저장소 검색과 같은 고유한 업계 요구사항에 맞게 조정된 전문 서비스를 제공

 

Vertex AI - 데이터란?

Feature Store - Model 학습을 위한 빅데이터 스토어 정보 등록(BigQuery 기반)

 

데이터 세트 - Model 학습을 위한 데이터셋 정보 등록(BigQuery 기반)

 

Vertex AI - 모델 개발이란?

학습, 실험, 메타데이터, Vertex AI 기반 Ray - 위에서 생성한 데이터셋 기반으로 모델 학습

 

Vertex AI - 배포 및 사용 이란?

모델 레지스트리 - Custom Model 목록을 관리하는 리소스

참고 리소스

AlloyDB

• 용도: 고성능 관계형 데이터베이스 서비스
• 설명:
  • 기본적으로 PostgreSQL을 기반으로 하는 또 하나의 RDBMS서비스
  • PostgreSQL 호환 완전 관리형 데이터베이스 서비스
  • 고가용성, 확장성, 빠른 처리 속도를 제공하여 트랜잭션, 분석, OLTP(온라인 트랜잭션 처리) 워크로드에 적합
  • 기존 PostgreSQL과 호환되면서도 Google Cloud의 인프라를 활용해 성능과 안정성을 강화

Document AI

• 용도: 난해한 문서를 자동으로 분석해 구조화된 데이터로 변환 및 문서 자동화 및 데이터 추출
• 설명:
  • 스캔 문서(OCR), PDF, 이미지 등 비정형 문서에서 텍스트, 표, 양식 데이터를 자동으로 인식하고 추출하는 AI 기반 서비스
  • OCR/레이아웃 Parser 등 문서 전처리에 용이한 기능을 다수 제공하며, 커스텀 프로세서도 지원함
  • 문서 처리 워크플로우를 자동화해 수작업 데이터 입력을 줄이고, 문서 이해와 분류 작업을 지원
  • 커스텀 프로세서도 만들 수 있음
  • 예) 송장, 계약서, 영수증, 설문지 등 다양한 문서 유형 처리

Pub/Sub

• 용도: Google Cloud에서 제공하는 완전 관리형, 실시간 메시징 서비스
  (이는 분산 시스템이나 애플리케이션 간에 데이터를 비동기적으로 안정적이고 확장 가능하게 주고받도록 설계되었음)
• 핵심 개념
  • 주제(Topic): 메시지를 발행하는 곳. 생산자가 메시지를 주제에 보냅니다.
  • 구독(Subscription): 주제로부터 메시지를 받아 처리하는 엔드포인트. 소비자가 메시지를 구독을 통해 수신합니다.
  • 발행자(Publisher): 메시지를 주제에 전송하는 역할.
  • 구독자(Subscriber): 구독을 통해 메시지를 수신하고 처리하는 역할.
• 설명:
  • 최근에는 Cloud Storage 구독이 도입되어, Pub/Sub 주제로 들어오는 데이터를 중간 변환 없이 바로 Cloud Storage에 원시 스트리밍 데이터로 저장할 수 있습니다.
  • Cloud Storage를 구독하여, Cloud Run에 Push할 수 있는 기능을 제공