A modellek betöltése és futtatása Hugging Face Transformers pipeline-okon keresztül történik.
Kisebb nyelvi modellek
Kisebb paraméterszámú, ingyenesen elérhető nyelvi modellek használata minimális hardveren.
Projektigény
Nincs hardver nagy modellek futtatásához.
Technikai kérdés
Meddig juthatnak el a kisebb modellek a dokumentumgenerálásban?
Validáció
Összehasonlítottam a DistilGPT2, GPT-Neo 125M, Facebook OPT 125M és 350M, valamint a GPT-2 Medium modelleket.
Döntés
A kisebb modellek célzott promptolással használhatók; a komplex összefüggések kezelése korlátozott, finomhangolást igényel.