Магазин за AI хардуер
Разгледайте мини-компютри, NAS, работни станции, сървъри и периферен AI хардуер — всяка система може да бъде комбинирана с инсталационни услуги и софтуерни иновации от ⏻ On Intelligence.
| Снимка | Продукт | Цена | Капацитет |
|---|
Разбиране на капацитета на модела
Капацитетът на модела се отнася до броя параметри, които съдържа AI модел (напр. 70B = 70 милиарда параметра). По-големите модели обикновено изискват повече памет и изчислителна мощност, но могат да предложат подобрено разсъждение и качество на изхода.
Прецизност (FP16 / FP8 / FP4) влияе на количеството памет, което изисква даден капацитет на модел: форматите с по-ниска прецизност намаляват приблизително наполовина изискванията за памет на всяка стъпка (FP16 → FP8 → FP4), за сметка на прецизността на изхода.
| Размер на модела | Типична памет (FP16) | Типична памет (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |