[NAVER]Retrieval-Augmented Generation (RAG) 시스템 최적화 관련 연구 인턴

웹 / UGC / 이미지 / 동영상 등 다양한 네이버 검색의 랭킹 알고리즘과 시스템을 개발하고 품질을 책임지고 있습니다.

각종 Learning to rank, BERT나 생성형 LLM, RAG 등 다양한 검색 관련 SOTA 기술을 활용하여, 사용자 의도와 니즈에 맞는 최적의 정보를 빠르게 제공하는 방법을 연구하고 서비스에 반영하는 것을 목표로 합니다.

대규모 검색 인덱스가 이미 존재하는 환경에서 Retrieval-Augmented Generation (RAG) 시스템 구축 시 LLM의 파라미터 크기를 어디까지 줄일 수 있는지를 분석하는 것을 목표로 과제를 수행하시게 됩니다.

또한, 해당 최적화된 RAG 시스템이 기존 SOTA LLM과 비교하여 어느 정도의 성능을 유지할 수 있는지 평가하고 분석하는 것이 목표입니다.

구체적으로 아래 질문에 대해서 답을 찾고자 합니다.

• 상용 서비스 환경 기준으로 충분히 큰 색인이 주어졌을 때, RAG 결과의 품질을 올리는데 최적화된 검색 결과란 어떤 것인가?

• 최적화된 검색 결과를 활용할 경우, LLM의 파라미터 크기를 어디까지 축소할 수 있는가?

• 이러한 접근이 기존 RAG를 사용하지 않는 대형 SOTA LLM 대비 어느 정도의 성능을 유지할 수 있는가?

• BERT, GPT 등 Transformer 관련 기반 기술에 대한 충분한 백그라운드를 보유하신 분

• RAG (Retrieval Augmented Generation) 관련 최근 논문/기술에 대한 충분한 이해, 연구 경험이 있으신 분

• BM25, Learning to Rank 등 기본적인 정보 검색 (IR) 방법론에 대한 지식을 보유하신 분

• ++ 혹은 python에 능숙하며, Pytouch 환경 등 Neural Net 관련 실험에 필요한 제반 구현 능력을 지니신 분

• 검색 혹은 자연어 처리 관련 주요 학회에서의 논문 실적을 보유하신 분

• RAG, LLM 관련 연구 경험이 있으신 분

• Hadoop 기반 플랫폼(MR, spark, hive 등)에서의 구현 경험이 있으신 분