신천지게임다운로드 ㅆ 릴게임다운 ㅆ㎒ 56.rpd641.top ⊂[IT동아 남시현 기자] 디노티시아(Dnotitia)가 벡터 DB(이하 벡터 DB)의 처리 흐름을 다룬 주요 논문을 제 51회 VLDB 2025(초대형 데이터베이스 국제 컨퍼런스)에서 발표했다. 디노티시아는 앞서 7월 ‘최신 SSD를 사용한 벡터 데이터베이스 가속화(Turbocharging Vector Databases using Modern SSDs)’라는 논문이 VLDB 2025에 정식 채택됐다고 밝혔다. 이번 발표를 계기로 디노티시아의 벡터 DB와 관련된 정보가 학회에 공식적으로 이름을 올리게 됐다.
정무경 디노티시아 대표 / 출처=디노티시아
이번에 공개된 ‘최 학자금대출사금융 신 SSD를 사용한 벡터 데이터베이스 가속화’ 논문에는 디노티시아가 개발 중인 VDPU의 아키텍처 등의 핵심 정보는 없다. 대신 SSD 내에서 어떻게 하면 벡터 DB를 효과적으로 다룰것인가에 대한 해법을 제시하고 있다. 이를 토대로 이를 토대로 향후 디노티시아가 어떻게 벡터 DB를 다루고, 어떻게 VDPU로 이를 처리할지를 유추할 수 있다. 해당 논문을 통 신협 공인인증센터 해 디노티시아가 그리고 있는 벡터 DB 시장의 로드맵을 들여다보았다. 국내 최초 벡터DB 스타트업 ‘디노티시아’가 그리는 접근법 디노티시아는 지난 2023년 6월 정무경 대표가 창업한 장기기억 인공지능(AI) 및 반도체 통합 설루션 전문 기업이다. 디노티시아는 벡터 DB 시스템 씨홀스(Seahorse), 한국어 논리 추론 국민연금 대출 대형 언어모델인 DNA-R1 등의 AI 관련 소프트웨어를 서비스 중이며, 이를 처리하는 전용 반도체인 VDPU는 내년 출시를 목표로 개발 중이다.
벡터 DB는 데이터를 효과적으로 배치하고 관리하기 위한 방안이다 / 출처=마이크로소프트
투룸 벡터는 문자, 이미지, 소리 등의 데이터를 숫자로 표현한 자료다. 예를 들어 고양이 사진을 임베딩 모델에 입력하면 모델이 사진을 분석하고 이를 0~1로 수치화한 벡터 데이터로 변환한다. 이렇게 변환된 벡터는 DB에 저장됐다가 향후 유사한 데이터 요청 등이 입력됐을 때 찾아서 제공한다. 일반 DB는 데이터를 행과 열로 대부업등록번호 구성한 테이블에 저장하므로 구조가 명확하고 정형화 돼있다. 금융 거래, 고객 정보 관리, 재고 등 정확성과 일관성이 확실한 경우에 유리하다. 다만 의미나 맥락에 따른 유사성 검색이 불가능하고, 이미지나 오디오, 동영상 등의 비정형 데이터 그 자체를 DB로 저장하고 관리할 수 없다.
디노티시아는 지난해 자체 벡터 DB 제품을 공개했다 / 출처=디노티시아
반면 벡터 DB는 데이터를 벡터로 전환해 저장하므로 형체가 불분명한 비정형 데이터도 저장할 수 있고, 유사한 결과도 가져올 수 있다. AI, 기계학습, 생성형 AI 활용을 위한 데이터 저장에 훨씬 유리한 구조다. 디노티시아가 벡터 DB와 관련해 내디딘 첫 발은 지난해 11월 ‘슈퍼컴퓨터 2024’에서 공개한 벡터 DB 관리 체계인 '씨홀스'다. 씨홀스는 벡터 형태로 보관된 텍스트, 이미지, 동영상 등의 복합 데이터 그 자체를 검색하는 DB다. 벡터DB 검색이 가능한 만큼 기존의 데이터 저장 방식에서는 불가능한 유사도 검색을 지원해 대형언어모델(LLM)이나 의미기반 검색도 가능하다. 쉽게 말해 AI가 명령어를 인식할 때 답변의 이해도가 크게 오르고, 답변 역시 연관관계가 있는 내용까지 복합적으로 출력한다. 올해 4월에는 멀티 클라우드에 대한 검색증강생성 기반 관리 및 효율화(RAGOps)를 지원하는 씨홀스 클라우드로 활용 방안을 확대했다. 또 내년에는 벡터 DB를 전용으로 처리하는 VDPU 개발을 마치고 벡터 DB의 저장 및 활용, 처리 방안까지 전 과정을 지원할 예정이다. 디노티시아 VDPU, 벡터 DB 처리에 초점 맞춘 장치
VLDB 2025에 'Turbocharging Vector Databases using Modern SSDs' 논문이 게재돼있다 작성자 중 노홍찬 디노티시아 최고 데이터 책임자의 이름이 있다 / 출처=VLDB2025
이번에 공개된 ‘최신 SSD를 사용한 벡터 데이터베이스 가속화’ 논문은 SSD를 활용해 벡터 데이터를 처리하는 흐름을 제시하는 논문이며, VDPU 아키텍처 및 세부 기술은 언급되지 않는다. 대신 지난 7월 VLDB 2025에 채택될 당시 ‘디노티시아가 개발 중인 벡터 데이터 연산 가속기 및 대규모 RAG 시스템과 밀접하게 연결돼 있으며, 단순 이론에 그치지 않고 실제 제품화와도 직결할 수 있음’이라고 밝힌 만큼 간접적으로 VDPU를 유추할 수 있다. 이를 통해 디노티시아가 벡터 DB를 어떻게 다루고, 향후 VDPU가 어떻게 데이터를 처리할지 희미하게나마 알 수 있다.
계층적으로 탐색 가능한 작은 세계(HNSW)에 대한 개요, 그림 A의 빨간 선이 벡터 데이터를 찾아내는 경로, 그림 B는 HNSW가 디스크 기반에서 데이터를 읽고 쓰는 전체적인 흐름을 뜻한다 / 출처=서울대 VLDB 연구소
지금도 검색 증강 생성(RAG), 시맨틱 검색(사용자가 검색한 단어와의 일치성과 문맥까지 이해하는 기술)은 쓰이지만, 벡터 DB를 위한 ' 계층적으로 탐색 가능한 작은 세계(Hierarchical Navigable Small World, HNSW)'에 적용하기 불리하다. HNSW는 고차원 벡터 데이터에서 유사한 데이터를 찾아내기 위한 기술이다. 쉽게 말해 가장 성긴 지도와 중간 상세 지도, 가장 상세한 지도 등을 여러 겹으로 놓고 필요한 위치를 찾기 위해 확대 축소하는 식이다. 이 방식은 전체 지도를 처음부터 찾는 것보다 빠르게 결과를 찾을 수 있다. 하지만 무작위로 동작하므로 SSD의 처리 속도가 느려지고, 다음 접근 데이터를 알 수 없어 캐시 적중률도 떨어진다. 최신 SSD는 이것이 가능하도록 설계되지만, 기존 입출력 방식은 순차 처리여서 벡터 데이터를 처리하는 데는 비효율적이다.
그림 a는 일반 조건에서 HNSW 인덱스가 작동하는 방식이다. 데이터가 순차적으로 하나씩 진행되다 보니 SSD의 병렬성을 활용하지 못한다. 그림 b는 io_uring을 활용해 최적화한 동작 그림이다. 한 번에 다수의 요청을 전달하고 SSD의 병렬 처리능력으로 요청한 입출력 작업을 동시 처리한다. 완료된 작업은 완료 큐에 쌓이고 필요할 때마다 결과를 가져오는 식으로 동작한다 / 출처=서울대 VLDB 연구소
논문은 리눅스 환경에서 입출력 작업이 완료되기를 기다리지 않고 바로 다른 작업을 계속해서 수행하기 위한 리눅스 기술 ‘io_uring’를 활용한 병렬 I/O로 SSD의 병렬성을 극대화해 처리량을 높였다. 데이터 삽입 시 유사한 벡터를 함께 묶어서 캐시 효율을 높이는 공간 인식 삽입 재정렬(Spatially-aware Insertion Reordering), 색인 구축 단계에서 접근 가능성이 높은 벡터를 미리 엮어 물리적으로 인접한 페이지에 저장하는 전략과 무작위 디스크 접근을 최소화하는 재구성 방법 등을 담은 지역성 보존 병치(Locality-preserving Colocation) 등을 바탕으로 한다. 이 기술은 오픈소스 벡터 검색 엔진 pgvector에 구현돼 실제 실험에 적용됐다. 100만 개의 벡터 데이터셋으로 구성된 DBpedia-1M을 활용한 비교 평가에서 기존 pgvector는 입출력 작업을 순차적으로 처리해 SSD의 데이터 처리 성능을 이끌어내지 못한 반면, 최적화 기법 등을 적용했을 때 데이터 처리 명령인 쿼리 처리량은 최대 11.1배, 캐시 적중률은 3.23배 늘었고, 색인 구축 시간은 98.4%까지 단축됐다. 산업용 PM1743 SSD는 8.55배, 일반 사용자용 삼성 850 Pro도 3.82배의 성능 향상을 보여 내부 병렬성이 높은 SSD일수록 최적화 효과가 커지는 것이 확인됐다.
논문의 결론에는 다른 벡터 DB 체계에도 최적화할 것이라는 내용이 기재돼 있다 / 출처=서울대 VLDB 연구소
논문의 결론은 제시된 최적화 방법을 적용해 입출력 병목을 크게 줄임과 동시에 저장장치의 병렬성을 끌어올리고, 처리량도 향상할 수 있다고 제시한다. 또한 SSD 인식 구조를 개선하고, 향후 다른 벡터 DB 프레임워크로 확장해 차세대 고성능 SSD 기반 벡터 검색 시스템에 기여할 것이라고 마무리된다. 쉽게 정리하자면 현 세대 SSD는 일반 데이터를 순차적으로 처리하는 데 최적화돼있다. 그렇다보니 벡터 DB를 일반 SSD에 저장하고 불러오면 SSD의 기대 성능과 효율을 낼 수 없다. 데이터 흐름 자체가 순서대로 처리하도록 돼있는데, 벡터 DB는 무작위로 데이터에 접근하기 때문이다. 그래서 연구진은 SSD에 여러 통로를 통해 동시에 데이터를 읽어오게 하고, 새로 추가되는 데이터를 미리 정렬한 뒤 가깝게 배치해 처리 속도를 올렸다. 여기까지가 논문의 내용이다. VDPU, SSD로 벡터DB 가속하고 유사도 연산에 쓰일 예정 해당 논문을 통해 디노티시아가 벡터 DB를 어떻게 접근할 것인지를 확인할 수 있었고, 이를 바탕으로 VDPU의 역할도 가늠할 수 있다. 현세대 CPU로 벡터 DB를 활용할 경우 저장된 벡터와 사용자가 요청한 벡터 데이터 간의 유사도를 측정하고, 이를 찾는데 필요한 거리를 연산한다. 또 벡터 DB를 색인해 대략적인 데이터의 위치를 파악하고 요청한다. 현세대 CPU는 MMX, SSE, AVX등 다양한 병렬 프로그래밍 명령어가 있지만 목적 자체가 범용 목적이지 벡터 DB 처리용은 아니어서 필요한 수준보다 훨씬 높은 성능의 CPU가 요구된다.
AI 성능의 상한선을 높이기 위해서는 광범위한 벡터 DB 도입이 필수다. 디노티시아는 VDPU를 활용해 이를 현실화하려 한다 / 출처=제미나이 생성 이미지
디노티시아가 VDPU를 실전 배치하면 이 CPU의 역할을 대체할 것이다. 이미 ‘벡터와 벡터 간 유사도 연산과 데이터 구조 탐색에 최적화된 연산 유닛’으로 개발 중인 만큼 기존 벡터 DB용 컴퓨터에 장착된 CPU의 전용 역할을 대체할 것이다. 수백에서 천 만원대를 호가하는 고가의 CPU 대신 벡터 DB 처리에 더 전력 효율과 처리 성능이 좋고 저렴한 전용 연산 장치를 제안하자는 게 디노티시아의 전략이다. 이에 맞춰 SSD의 벡터 DB 처리 효율을 높인 것이 이번 논문의 골자다. AI가 등장하기 이전에는 기존 x86 CPU로도 벡터 DB를 활용하기에 충분했다. 하지만 AI가 업계 전반의 촉매제로 등장하고, 성능과 전력효율을 끌어올리기 위한 노력이 계속되며 VDPU라는 개념으로 이어졌다. AI에 벡터 DB가 도입되었을 때 유사성 검색을 통해 검색 성능이 비약적으로 향상되는데, 기존 CPU 기술로는 데이터센터 단위의 벡터 DB 검색 부하를 감당할 수가 없다. 기존에 디노티시아 VDPU같은 시도가 없었던 탓에 새로운 시장을 개척한다는 의미에서도, 우리나라에서 이 기술을 가져간다는데도 의의가 크다. 디노티시아는 빠르면 올해 안에 VDPU를 공개하고 내년에 벡터 DB 전반에 걸친 서비스를 시작한다. 디노티시아의 도전이 노력을 넘어 새로운 시장에 대한 개척으로 이어지기를 바란다. IT동아 남시현 기자 (sh@itdonga.com) 사용자 중심의 IT 저널 - IT동아 (it.donga.com)
