AI 반도체의 성능은 단순한 칩의 연산 능력에 국한되지 않는다. 실제로 하드웨어 성능을 끌어내고, 다양한 인공지능 모델을 원활하게 실행하려면 효율적이고 호환성 높은 소프트웨어 스택이 필수다. 이 점에서 퓨리오사AI(FuriosaAI)가 개발한 소프트웨어 개발 키트(SDK)는 단순한 보조도구를 넘어, AI 추론 인프라 전체를 아우르는 핵심 소프트웨어 플랫폼으로 자리매김하고 있다. 본 글에서는 퓨리오사AI의 SDK가 제공하는 구성 요소, 기술적 특징, 지원 프레임워크, 호환성, 최적화 전략 등을 종합적으로 분석한다.
퓨리오사AI SDK는 하드웨어-소프트웨어 공동 최적화(Co-optimization)를 철학으로 하며, 특히 자체 개발한 TCP(Tensor Contraction Processor) 아키텍처에 특화된 연산 흐름을 소프트웨어 차원에서 극대화하는 구조를 갖추고 있다. SDK는 다음과 같은 세 가지 영역으로 구성된다:
- 컴파일러 및 모델 최적화 도구
- 실행 런타임 환경 및 API
- 디버깅, 분석, 프로파일링 툴킷
이 세 가지 구성은 서로 유기적으로 연결되어 있어, 개발자가 모델을 준비하고, 컴파일하고, 배포하고, 운영하는 전 과정을 단일 환경 내에서 관리할 수 있도록 설계되었다.
퓨리오사AI SDK는 다양한 딥러닝 프레임워크에서 학습된 모델을 RNGD 칩 아키텍처에 최적화하여 변환하는 컴파일러를 포함한다. 컴파일러는 다음과 같은 기능을 제공한다:
- 텐서 그래프 최적화: 연산 중복 제거, 레이어 병합, 구조 재배치
- 정적 분석 기반 스케줄링: 병렬화 가능한 노드 자동 탐지
- 파이프라이닝 구성: 입력→연산→출력 단계별 병렬 구성
- 모델 압축 기능: 양자화(INT8, FP8), 프루닝, 채널 슬라이싱 지원
이러한 기능은 PyTorch, TensorFlow, ONNX, Keras 등에서 학습된 모델을 그대로 가져와 RNGD 전용 코드로 변환할 수 있게 하며, 성능 저하 없이도 모델의 메모리 점유율과 연산 비용을 최소화한다. 특히 대형 언어 모델이나 컴퓨터 비전 모델을 클라우드 환경에서 추론할 때, 이러한 최적화 기능이 서버 자원 활용도를 획기적으로 향상시킨다.
퓨리오사AI SDK의 런타임 환경은 멀티스레드 기반 스케줄러와 하드웨어 가속 드라이버를 기반으로 구성된다. 이는 다음과 같은 기능을 제공한다:
- Batch 실행 최적화: 입력 데이터의 동시 처리 및 순차적 워크로드 병렬화
- 멀티 칩 대응: 다수의 RNGD 칩이 클러스터 환경에서 동시에 작동
- 메모리 풀링 구조: 중복 메모리 로딩 방지 및 캐시 관리 최적화
- REST API 및 gRPC 지원: 외부 서버와의 연동을 위한 서비스화 준비
또한 SDK는 Linux 환경에 최적화되어 있으며, Docker 및 Kubernetes 환경에서도 배포 가능하도록 설계되어 있다. 이를 통해 클라우드 네이티브 AI 시스템 구축에 적합한 런타임 솔루션을 제공한다.
AI 추론 인프라의 안정성과 성능을 확보하기 위해 SDK는 다양한 분석 도구를 제공한다:
- 실행 타임라인 시각화: 각 연산 블록별 처리 시간 분석
- 성능 병목 탐지: 특정 레이어, I/O 병목, 메모리 충돌 지점 식별
- 전력 소비 측정: 실시간 소비 전력 및 발열 로그 분석
- 디버깅 인터페이스: 런타임 중단점, 변수 추적, 예외 리포트 기능
이러한 툴은 특히 시스템 단위에서 모델 배포 시 문제 해결에 필수적이며, 운영 효율성을 크게 높이는 요소로 작용한다. 프로파일러는 웹 기반 대시보드를 제공하며, 데이터센터 운영팀이나 ML Ops팀과의 협업도 원활하게 수행할 수 있다.
퓨리오사AI SDK는 다양한 딥러닝 프레임워크 및 모델 형식을 기본 지원한다. 현재 공식적으로 지원되는 환경은 다음과 같다:
- PyTorch 1.12 이상 / PyTorch 2.x 전 버전 호환
- TensorFlow 2.x (변환 경유 방식)
- ONNX 1.12 이상
- Keras 및 TFLite (향후 지원 예정)
모델 형식은 ONNX 변환을 기본 경유 방식으로 삼으며, 변환 정확도와 정밀도 보정 기능이 함께 제공된다. 특히 ONNX Runtime 기반의 사용자 정의 플러그인 개발이 가능하여, 기업 내 ML 엔지니어가 자체적으로 최적화 플랜을 작성할 수 있도록 지원한다.
SDK는 전체 설치 및 실행 과정을 문서화하고 있으며, GitHub 기반의 레포지토리, Jupyter Notebook 예제, RESTful API 문서, C++/Python 바인딩 문서 등을 함께 제공한다. 모든 구성요소는 pip 혹은 docker image로 설치 가능하며, 내부 CI/CD 환경에 쉽게 통합될 수 있도록 구성되었다.
또한 SDK는 CLI 기반 인터페이스뿐 아니라 웹 대시보드 인터페이스를 지원하며, 이를 통해 운영자와 개발자의 협업이 쉬운 환경이 제공된다. 웹 대시보드에서는 모델 상태, 스레드 상태, 오류 로그, 연산률 등을 실시간으로 확인할 수 있다.
현재 퓨리오사AI SDK는 다음과 같은 환경에서 적용되고 있다:
- 대형 언어 모델 추론: Llama 2, GPT-2, GPT-J, OPT 등
- 비전 AI: YOLOv5, Detectron2, ViT, CLIP
- 음성 AI: Whisper, Tacotron2, Wav2Vec2
- 의료영상 AI: UNet, 3D CNN 기반 영상 진단 보조
특히 LG AI연구원, 국내 대형 클라우드 운영사, 사우디 아람코 R&D 부서와의 공동 PoC 프로젝트에 SDK가 핵심 요소로 적용되었으며, 운영 효율성과 연산 성능 향상, 전력 절감 효과가 입증된 바 있다.
퓨리오사AI SDK는 단순히 칩을 구동하는 도구가 아니다. 그것은 RNGD 칩의 성능을 현실화하고, 대규모 AI 추론 인프라에 통합할 수 있도록 돕는 생태계의 중심이다. 고도화된 컴파일러, 런타임, 디버깅·분석 툴이 결합된 이 플랫폼은 추론 중심 AI 산업에 최적화된 소프트웨어 인프라로 자리매김하고 있다.
향후 퓨리오사AI가 국내를 넘어 글로벌 LLM 클라우드, 스마트 시티 인프라, 에지 추론 서비스 영역으로 확대됨에 따라, SDK의 확장성과 유연성은 더욱 주목받을 것으로 기대된다. 궁극적으로 SDK는 한국형 AI 반도체 생태계의 표준이 될 수 있는 잠재력을 갖추고 있다.