전체 글 검색 결과
342 개의 검색 결과가 있습니다.
카테고리 없음

[생산성] 개발자/소프트웨어 엔지니어가 일상 업무에서 GPT를 활용하는 팁

개발자 Prompt Tip git diff를 기반으로 PR 설명 생성하기 (예시) git diff > diff.txt, 그런 다음 중요하다고 생각하는 부분을 복사하고 PR 설명을 요청합니다. Faker와 같은 외부 라이브러리를 사용하고 싶지 않을 때 Quick Fixtures 및 모의 Mock 데이터 생성하기 (예시) chatGPT에 클래스 정의를 제공하고 클래스와 실제 더미 데이터가 일치하는 x개 양의 개체가 포함된 json 파일을 생성하도록 요청합니다. 코드와 테스트 케이스를 요청하기 (엄격한 감독이 있어야만 가능) 작성한 코드 검토 및 제안, 주석 생성 요청하기 (예시) "이 코드를 검토 및 제안해주고, 더 세련되고 간결한 코드로 변경시켜줘" 실수나 놓친 기회를 발견하면 실수나 놓친 기회의 맥락을 ..

2024. 2. 27. 09:45
클라우드 & DevOps/클라우드 서비스 ∕ AWS

Bedrock RAG의 정확도를 늘리는 방법

개요 해당 글에서는 AWS Bedrock에 RAG(검색 증강 생성) 아키텍처를 적용할 때, 사용자들이 만족할만한 수준의 응답을 얻기 위해 조치할 수 있는 방법들을 기술합니다. RAG(검색 증강 생성) 아키텍처 상에서, 정확도를 높이는 방법 콘텐츠 타입에 맞추어 문자열을 가공합니다. HTML의 경우는 내부 유틸리티 서비스를 통해 정제된 텍스트 본문을 파싱합니다. 페이지 정보(PDF), 영상 시간(YouTube)의 경우에는 해당 콘텐츠의 위치를 보존하기 위해 별도의 포맷으로 정제합니다. 정제된 텍스트는 정해진 사이즈에 따라 청크로 쪼개집니다. 청크 사이즈의 단위는 메인 LLM 모델의 토큰입니다. 사실 이렇게 단순히 순서대로 조각내는 방법에는 개선의 여지가 많아 보입니다. 이론적으로 이상적인 청킹은 청크 간에..

2024. 2. 1. 17:39
클라우드 & DevOps/클라우드 서비스 ∕ AWS

AWS LLM FineTuning

Chapter 1. LLM 모델의 발전 과정 LLM 언어 모델이란? 언어 모델은 단어 시퀀스에 확률을 할당하는 일을 하는 모델입니다. 언어 모델은 가장 자연스러운 단어 시퀀스를 찾아내는 모델입니다. 언어 모델의 진화 과정 2003 : Natural Language Model : 검색어 자동추천이 가능해짐 2013 : Word Embedding, NLP base on NN(RNN) : 단어를 벡터화 시킬 수 있게되어, 단어간 의미를 파악하기 용이해짐 2014 : Seq to Seq model 2015 : Attention mechanism 2017 : Transformer : 번역, 요약이 너무 자연스럽게 할수 있게 됨. 챗봇이 롤 기반으로 자연스러운 대화 형식으로 기반이 변경됨 current : Foun..

2024. 1. 19. 12:24
클라우드 & DevOps/클라우드 서비스 ∕ AWS

AWS Bedrock 이란?

AWS Bedrock이란? Amazon Bedrock이란 통합 API를 통해 선도적인 AI 스타트업과 Amazon의 기반 LLM 모델(FM)을 사용할 수 있도록 하는 완전관리형 서비스입니다. 특징 * 장점 Amazon Bedrock을 사용하면 다양한 기본 모델 중에서 사용 사례에 가장 적합한 모델을 쉽게 실험 및 평가하고, 파인 튜닝 및 RAG(검색 증강 생성)와 같은 기술을 사용하여 원하는 데이터를 실행시키고, 엔터프라이즈 시스템을 사용하여 작업을 실행하는 에이전트를 구축할 수 있습니다. 프롬프트 및 구성 실험 * 다양한 구성 및 기반 LLM 모델을 사용하여 프롬프트를 보내 응답을 생성함으로써 모델 추론을 실행합니다 . * API나 콘솔의 텍스트, 이미지, 채팅 Playground를 사용하여 그래픽 인..

2024. 1. 18. 11:24
컴퓨터 과학/IT 용어 & 개념 정리

AWS OpenSearch 서비스란?

AWS OpenSearch란? AWS에서 제공하는 완전 관리형 오픈 소스 검색 및 분석 엔진 서비스입니다. Elasticsearch의 포크 버전으로, 대규모 데이터 세트를 신속하게 검색하고 분석하는 데 사용됩니다. 다음은 AWS OpenSearch에 대한 자세한 설명입니다. 개념 클러스터: OpenSearch는 여러 노드로 구성된 클러스터 형태로 데이터를 저장하고 처리합니다. 클러스터는 데이터의 가용성과 확장성을 보장합니다. 노드: 클러스터 내에서 데이터를 저장하고 처리하는 단위입니다. 노드는 마스터 노드와 데이터 노드로 구성될 수 있으며, 각 노드는 데이터의 일부를 저장합니다. 색인: OpenSearch는 데이터를 색인하여 검색 가능한 형식으로 변환합니다. 색인은 검색 성능을 향상시키고 데이터를 구조화..

2024. 1. 16. 10:33
컴퓨터 과학/IT 용어 & 개념 정리

AWS DynamoDB 서비스란?

AWS DynamoDB란? AWS DynamoDB는 완전 관리형 NoSQL 데이터베이스 서비스로, 빠르고 확장 가능한 응용 프로그램을 구축하기 위한 솔루션을 제공합니다. 다음은 DynamoDB에 대한 자세한 설명입니다. 개념 테이블: DynamoDB는 데이터를 테이블 형태로 저장합니다. 테이블은 행과 열로 구성되며, 각 행은 고유한 기본 키로 식별됩니다. 항목: 테이블 내에서 각 행은 항목으로 불리며, JSON 형식의 데이터로 구성됩니다. 속성: 항목은 속성으로 구성되며, 속성은 이름과 값으로 이루어진 데이터 요소입니다. 주요 기능 확장성: DynamoDB는 수평적으로 확장 가능하며, 필요에 따라 처리량을 조정하여 응용 프로그램의 성능을 향상시킬 수 있습니다. 내구성과 가용성: DynamoDB는 데이터를..

2024. 1. 16. 09:56