Լոկալ AI ինֆերենս ձեր պարագծի ներսում
Երկու հոգանոց ստարտափից մինչև 1000+ տեղանոց կորպորացիա. ձեր մոդելները, ձեր երկաթը, ձեր տվյալները.
API հաշիվները աճում են ամեն աշխատատեղի և ամեն թոքենի հետ, և մաթեմատիկան փլուզվում է էնթերփրայզ մասշտաբից շատ առաջ։ Մենք նախագծում, կառուցում և վարում ենք լոկալ ինֆերենս. on-prem GPU կլաստերներ և edge պարկ թիմի արդեն ունեցած Apple Silicon-ի վրա, էկոնոմիկան հաշված մինչև առաջին երկաթի գնումը։ Նպատակը պարզ է. անվերահսկելի ինֆերենս OPEX-ը դարձնել խելացի միանվագ CAPEX։
Ինչ ենք վերցնում մեզ վրա
Ինֆերենսի էկոնոմիկա և TCO մոդել
Սկզբում որոշումների շերտը. թվեր, ոչ թե զգացողություններ.
- Թոքեն-ծավալների պրոֆիլավորում և ворքլոադների վերլուծություն թիմերով
- TCO մոդել. API ծախսերն ընդդեմ կլաստերի ամորտիզացիայի, հատման կետ, աճի զգայունություն
- Մոդելների ընտրություն իրապես անհրաժեշտ որակի նշաձողի համար (open-weights ընդդեմ frontier API)
On-prem ինֆերենս պլատֆորմներ
Production կլաստերներ ցանցային պարագծի ներսում, ներառյալ air-gapped։
- GPU կլաստերների նախագծում և դեպլոյ (vLLM/SGLang serving, քվանտացում, բատչինգ)
- Open-weights մոդելների պարկ՝ evals ձեր իրական խնդիրների վրա
- Kubernetes կամ bare metal, observability, ավտոսքեյլինգ, on-call ռանբուքեր
Edge ինֆերենս արդեն ունեցած սարքերի վրա
Ամենաէժան դատակենտրոնն արդեն ձեր սեղաններին է։
- Լոկալ ինֆերենս աշխատակիցների Apple Silicon-ի վրա (MLX, unified memory-ն քաշում է)
- Consumer կլաստերներ RTX 3090/5090-ի վրա այնտեղ, որտեղ դրանք գնով հաղթում են դատակենտրոնի քարտերին
- Խելացի ռաութինգ edge-ի, on-prem կլաստերի և frontier API-ների միջև
Անվտանգություն, համապատասխանություն և օպերացիաներ
Լոկալ ինֆերենսը պրակտիկա է, ոչ թե միանվագ տեղադրում։
- Տվյալները չեն լքում պարագիծը. իզոլացիա, մուտքի վերահսկում, աուդիտ-հետքեր
- Մոդելների թարմացումներ, eval-ռեգրեսիան որպես գեյթ, հզորությունների պլանավորում
- Փոխանցում ձեր թիմին կամ վարում retainer-ով
Հաճախ տրվող հարցեր
Ե՞րբ է լոկալ ինֆերենսը իրապես արդարանում։
Երբ ծանրաբեռնվածությունը կայուն է, իսկ տեղերի թիվն աճում է։ Տիպիկ պատկերը. թիմը տարեկան հինգից յոթ նիշ է ծախսում թոքենային API-ների վրա այն խնդիրների համար, որոնք open-weights մոդելները փակում են պահանջվող որակով։ Կլաստերը գնվում է մեկ անգամ և ամորտիզացվում տարիներով. մեր ասեսմենտը ցույց է տալիս ձեր հատման կետը իրական տվյալների շաբաթների վրա, ոչ թե կարծիքների։
Ի՞նչ մոդելներ կարող են աշխատել պարագծի ներսում։
Արդի open-weights ընտանիքները (Llama, Qwen, DeepSeek, Mistral և այլն)՝ edge-բարեկամականից մինչև դատակենտրոնային չափսեր։ Թեկնածուներին բենչմարկում ենք ձեր խնդիրների և որակի նշաձողի վրա մինչև երկաթի խորհուրդները։
Apple Silicon-ը լո՞ւրջ ինֆերենս պլատֆորմ է։
Շատ ворքլոադների համար՝ այո։ M-սերիայի unified memory-ն լոկալ քաշում է անսպասելի մեծ մոդելներ, իսկ երկաթը թիմն արդեն ունի։ MLX ինֆերենս ենք տեղակայում աշխատակիցների սարքերին պրիվատ և լատենտությանը հանդուրժող խնդիրների համար, իսկ ծանր ընդհանուր բեռը կլաստերի վրա է։
Consumer GPU-ներ, օրինակ RTX 3090/5090, պրոդում. լրջորե՞ն։
Այնտեղ, որտեղ արդարացված է, բացարձակ. շատ միջին մոդելների համար consumer կլաստերը մի քանի անգամ ավելի լավ գին է տալիս թոքենի համար, քան դատակենտրոնի քարտերը։ Սահմանափակումների մասին էլ ազնիվ. NVLink չկա, VRAM-ը մեկ քարտում ավելի քիչ է. նախագծում ենք դրանց շուրջ կամ ուղիղ ասում, երբ պետք է դատակենտրոնի երկաթ։
Ի՞նչ կա տվյալների պրիվատության և համապատասխանության հետ։
Սովորաբար հենց դա է լոկալ գնալու պատճառը։ Փրոմփթերը, փաստաթղթերը և արդյունքները չեն լքում ձեր ցանցը. աջակցում ենք air-gapped տեղակայումներ։ Իզոլացիան, մուտքի վերահսկումը և աուդիտ-հետքերը դիզայնի մասն են։
Կարելի՞ է լոկալ ինֆերենսը խառնել frontier API-ների հետ։
Այո, և ռացիոնալ սխեմաների մեծ մասը հենց այդպես է. լոկալ մոդելները թոքենների հիմնական զանգվածի համար, frontier API-ները՝ ամենաբարդ ռիզոնինգի։ Կառուցում ենք ռաութինգ շերտ, որ ամեն հարցում գնա ամենաէժան տիր, որն անցնում է իր որակի նշաձողը։
Ինչի՞ց է սկսվում նախագիծը և ի՞նչ արժե։
Ֆիքս-սքոուփ էկոնոմիկայի ասեսմենտից ձեր իրական օգտագործման տվյալների վրա։ Ելքում TCO մոդել, երկաթի խորհուրդ և տեղակայման պլան։ Այնուհետև կառուցումը գնահատվում է ֆիքսով. օպերացիոնը գնում է ամսական retainer-ով։
Ո՞վ է հետո վարում կլաստերը։
Ձեր ընտրությամբ. փաստաթղթավորում ենք ամեն ինչ և փոխանցում ձեր թիմին, կամ շարունակում ենք վարել retainer-ով, ներառյալ մոդելների թարմացումներն ու eval-գեյթերը.
Հաշվեք էկոնոմիկան երկաթ գնելուց առաջ
Գրեք մի քանի տող ворքլոադների և API-ի ընթացիկ ծախսերի մասին. կպատասխանենք մեկ աշխատանքային օրում ասեսմենտի ուրվագծով և դրա ֆիքսված գնով.
Գրել ivan@relux.works-ին