Kagamitang Edge AI
Mga module ng pagkompyut para sa pagdeploy ng embedded at edge AI.
| Larawan | Produkto | Presyo | Kapasidad |
|---|
Pag-unawa sa Kapasidad ng Modelo
Ang kapasidad ng modelo ay tumutukoy sa bilang ng mga parameter na taglay ng isang modelo ng AI (hal. 70B = 70 bilyong parameter). Ang mas malalaking modelo ay karaniwang nangangailangan ng mas maraming memorya at kapangyarihan sa pagkompyut, ngunit maaaring mag-alok ng mas mahusay na pangangatwiran at kalidad ng output.
Precision (FP16 / FP8 / FP4) ay nakakaapekto sa dami ng memorya na kinakailangan ng isang partikular na kapasidad ng modelo: ang mga format na mas mababa ang precision ay humahati sa mga kinakailangan sa memorya sa bawat hakbang pababa (FP16 → FP8 → FP4), sa ilang sakripisyo sa precision ng output.
| Laki ng Modelo | Karaniwang Memorya (FP16) | Karaniwang Memorya (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |