[인터뷰] '벡터 DB'와 '지식그래프', 생성형 AI 환각 최소화에 필수

 

 

엔코아 김범 부문장이 생성형 AI 활용에 앞서 벡터DB와 지식그래프의 차이점, 그 활용방법에 대하여 설명하였습니다.

엔코아 김범 부문장은 “LLM을 기반으로 생성형 AI 서비스를 개발했을 경우, LLM을 개발하는 과정에서 학습한 보편적인 정보 외에 특정 정보를 답할 수 있도록 LLM의 파라미터를 조정하는 ‘파인튜닝’이라는 작업을 한다. 이후 LLM의 성숙도를 높이기 위해 ‘풀 튜닝’을 한다. 하지만 꾸준히 변화하는 기업의 데이터와 거버넌스 규칙, 서비스 품질의 요구사항과 수준 등을 고려해 LLM을 학습시킬 수는 없다. 특히 모델 학습 비용과 추론 비용, 인력, 시간 등 투입되는 공수 역시 상당하다”고 설명했다.

결국 새로운 데이터를 적시에 보충하고 부족한 답변 정확도를 높일 수 있는 일종의 보조장치가 요구되는 것이다. 그리고 이러한 보조장치로 떠오르고 있는 것이 바로 벡터 DB(Vector DB)다. 벡터 DB는 정형 데이터부터 비정형 데이터까지 모두 임베딩해 벡터 형태로 저장하고 검색하는 데 사용되는 데이터베이스(DB)다. 널리 이용되는 관계형 데이터베이스(RDB)가 정형 데이터를 저장하고 검색하는 데 최적화돼 있다면, 벡터 DB는 이미지나 문서 등 데이터 구조가 부재해 쿼리 프로세싱(Query Processing)을 할 수 없는 비정형 데이터의 저장과 검색에 용이하다.

 

 

아이티데일리 박재현 기자
기사원문보기 :  [인터뷰] '벡터 DB'와 '지식그래프', 생성형 AI 환각 최소화에 필수