정보 나누기

안녕하세요. (수정 v0.1)

아무래도 제가 글을 잘 쓰는 것이 아니다 보니 수정하면서 점점 버전을 업데이트 해보겠습니다.

일단 제가 이해하는데로 적어봅니다.

- 예전 부터 있던 컴퓨터 구조론에서 CPU 바로 옆에 있는 L1 Cache, L2 Cache, RAM, SSD, HDD 등의 캐시 레이어링 들어보셨을 겁니다.

- 그런 구조가 왜 LLM 에는 적용이 안되나? 했었는데 제가 이해하기로는 우리가 생각하는 그런 형태를 적용할 수는 없고

모든 연산이 동시에 사용되기 때문에 레이어링이 불가능한 것으로 생각하고 있었습니다.

- 그런데 최근 전문가 모델이라는 형태로 MoE (전문가) 모델 등이 이야기 나오면서 활성화 모델에 대한 개념이 퍼지기 시작했습니다.

- 이에 최근 SSD -> RAM -> (CPU 에서 필요한 영역만 것만 교체함 ) -> GPU 하는 형태로 사용할 수 있는 것이 나오기 시작한 것 같습니다.

그중에서 가장 활발한 것이 Strata 라고 불리우는 런타임 인데요.

https://github.com/Niko1221/Strata

다음의 하드웨어 사향을 가지고 계시다면 시도해볼 만 합니다.

- GPU 는 12G 이상이면 충분히 가능

- RAM 48G 정도 이상

- SSD 60G 정도

그러면 어렵지 않게 소스코드를 내려 받고 수행해보실 수 있습니다.

일단 ... GPU 에 따라서 (저는 A770 으로 확인 중입니다.) 인풋 컨텍스트를 너무 느리게 입력하는 (대부분 PreFill 이라고 하더라구요.) 부분 때문에 고민이 있는데,

일단 입력되고 나면 충분히 잘 활용되는 것에 놀랍니다.

일단 ... 틀린 이야기가 있을 것 같아서 또 버전 수정해서 오겠습니다.