„NVIDIA Open Holces Nemotron-Mini-4B-Instruct AI“ modelis, skirtas diegti įrenginius

Rugsėjo 15 d. „MarkTechPost“, technologijos žiniasklaidos atstovas, pranešė, kad „Nvidia“ atidarė „Nemotron-Mini-4B“ instruktoriaus AI modelį, pažymėdama dar vieną bendrovės inovacijų AI erdvėje etapą.

„Nemotron-Mini-4B“ instrukcijos AI modelis yra specialiai sukurtas tokioms užduotims kaip vaidmenų vaidinimas, gavimo grobio karta (RAG) ir funkcijų skambutis.Tai yra mažos kalbos modelis (SLM), distiliuotas ir optimizuotas iš didesnio „Nemotron-4 15B“ modelio.

NVIDIA naudojo patobulintus AI metodus, tokius kaip genėjimas, kvantavimas ir distiliavimas, kad būtų sukurtas mažesnis ir efektyvesnis modelis, todėl jis ypač tinkamas diegti įrenginius.

Nepaisant sumažėjusio dydžio, modelio našumas konkrečiuose scenarijuose, tokiuose kaip vaidmenų vaidinimas ir funkcijų skambutis, išlieka bekompromisis, todėl tai yra praktiškas pasirinkimas programoms, reikalaujančioms greitų, atsakymų pagal pareikalavimą.

Nemotron-Mini-4B instruct AI modelis, patobulintas pagal „Minitron-4B“ bazės modelį, apima LLM suspaudimo technologiją.Viena ryškiausių jo savybių yra jo sugebėjimas tvarkyti 4096-toko konteksto langą, leidžiantį jam sugeneruoti ilgesnius ir nuoseklesnius atsakymus.