RAGAS모델 혹은 파이프라인을 구성했다면 이 모델이 '잘' 만들어진 모델인지 평가하는 과정이 필요하다. 정통적인 모델들은 F1 Score 등의 방식을 사용하나 RAG 아키텍쳐 어플리케이션 성능 평가에는 살짝 애매하다. 이러한 RAG(Retrieval-Augmented Generation) 파이프라인을 평가하기 위해서 RAGAS라는 프레임워크를 주로 사용한다. 즉 RAG 파이프라인을 구축하고 평가 지표 계산에 필요한 데이터셋 (question, answer, context, ground truth) 을 만든 뒤 RAGAS는 이 데이터셋을 이용해 평가 지표를 계산하는 것이다. Ground Truth특히 이 데이터셋 중에서도 RAG 아키텍쳐 기반의 에플리케이션을 평가에는 Ground Truth가 매우 중..
RAG 기반 블로그 프로젝트를 진행하며 학습한 내용을 정리합니다. RAGAS RAG 성능의 평가 척도
