TT-Metalium™
TT-Metalium™
빌더를 위한 전문가 수준의 오픈 소스
TT-Metalium™은 저수준의 소프트웨어 플랫폼으로, CPU와 Tenstorrent 장치의 이기종 컬렉션에 직접 액세스할 수 있게 해줍니다. 이를 통해 Tensix Core 내의 RISC-V 프로세서, 온칩 네트워크(NoC), 매트릭스 및 벡터 엔진에 직접 접근할 수 있습니다. TT-Metalium™은 커널 개발, 실험 등을 위해 하드웨어에 밀접하게 접근하려는 개발자에게 적합하며, 블랙박스나 암호화된 API 없이 투명한 환경을 제공합니다. 또한, 머신 러닝이 아닌 코드 실행에도 활용될 수 있습니다.
TT-Metalium™ 코어 및 칩 구조의 병렬 연산 아키텍처
TT-Metalium™은 다양한 CPU와 Tenstorrent 장치를 위한 Low Level 소프트웨어 플랫폼으로, 사용자는 Tensix Core 내의 RISC-V 프로세서, NoC(Network-on-Chip), Matrix 및 Vector 엔진에 직접 액세스할 수 있습니다.
특징 및 기능
1. Tensix Core 기반 연산
– 각 코어는 Kernel과 Tile을 활용하여 텐서 연산을 처리하며, 유연한 커널 추가로 연산 제어 가능
2. 병렬 처리 및 확장성
– 프로그램이 여러 코어에 매핑되어 병렬로 실행되며, 칩 간 통신은 Ethernet을 통해 동기화
3. 효율적인 데이터 처리
– 코어와 칩 내부의 구조를 최적화하여 대규모 병렬 연산 작업에 적합
4. 유연한 설계
– Kernel 추가 및 하드웨어 제어를 통해 사용자가 원하는 계산 작업을 맞춤 구성 가능
TT-Metalium™의 ML 및 HPC 소프트웨어 스택
위의 그림은 TT-Metalium™ 플랫폼 위에 구축할 수 있는 소프트웨어 계층을 보여줍니다. TT-Metalium™을 사용하면 개발자는 특정 수학 연산(예: 행렬 곱셈, 이미지 크기 조정 등)을 구현하는 호스트 및 커널 프로그램을 작성한 다음 라이브러리에 패키징할 수 있습니다. 다양한 프레임워크는 라이브러리를 빌딩 블록으로 사용하여 사용자에게 다양한 HPC 및 ML 애플리케이션을 개발할 수 있는 유연한 고수준 환경을 제공합니다.
특징 및 기능
1. 다계층 소프트웨어 스택
– 애플리케이션, 프레임워크, 라이브러리, 프로그래밍 모델, 그리고 하드웨어 계층으로 구성
2. 프레임워크 통합
– PyTorch 2.0, Triton 등 다양한 프레임워크와 호환되어 고수준 ML 및 HPC 작업을 지원
3. 라이브러리 사용
– BLAS, FFT, TT-NN 등 핵심 수학 연산과 데이터 처리를 위한 라이브러리 제공
4. 개발자 친화적 환경
– C++ 및 Python 기반의 호스트 프로그램과 커널 코드 작성 가능.
5. 최적화 도구 제공
– Kernel Debugger와 Performance Profiler를 통해 커널 디버깅 및 성능 분석 지원
6. Tenstorrent 하드웨어 통합
– Grayskull, Wormhole 등 고성능 하드웨어와 원활히 연동 가능
TT-NN™ 및 TT-Metalium™ 초급부터 고급과정 까지 수준에 따른 소프트웨어 옵션 비교
Lightweight Optimization/Perf
Batch
Library of Fused OP
Op Selection & Parallelization
Data formats & Math Fidelity
Tensor Storage L1 또는 DRAM
Augmented Python API
Heavyweight Optimization
Create custom Kernels and OPs
Fused Kernels
TMs
Go into TT-Metalium™ code
Write C++ Kernels
Understand the Hardware
Low-Level Optimization