Skip to content

README.md

Latest commit

 

History

History
355 lines (195 loc) · 51.9 KB

README.md

File metadata and controls

355 lines (195 loc) · 51.9 KB
Raw

ಜನರೇಟಿವ್ AI ಗಾಗಿ ಸಣ್ಣ ಭಾಷಾ ಮಾದರಿಗಳ ಪರಿಚಯಾತ್ಮಕ ಲೇಖನ ಆರಂಭಿಕರಿಗೆ

ಜನರೇಟಿವ್ AI ಎಂದರೆ ಹೊಸ ವಿಷಯವನ್ನು ಸೃಷ್ಟಿಸುವ ಸಾಮರ್ಥ್ಯ ಹೊಂದಿರುವ ವ್ಯವಸ್ಥೆಗಳನ್ನು ರಚಿಸುವ ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆಯ ಆಕರ್ಷಕ ಕ್ಷೇತ್ರವಾಗಿದೆ. ಇದರಲ್ಲಿ ಪಠ್ಯ, ಚಿತ್ರಗಳು, ಸಂಗೀತ ಹಾಗೂ ಸಂಪೂರ್ಣ ವರ್ಚುಯಲ್ ಪರಿಸರಗಳವರೆಗೆ ವಿಷಯ ಸೃಷ್ಟಿಸಬಹುದು. ಜನರೇಟಿವ್ AIಯಲ್ಲಿನ ಅತ್ಯಂತ ರೂಜುಗೊಳ್ಳುವ ಅನ್ವಯಗಳು ಭಾಷಾ ಮಾದರಿಗಳ ಕ್ಷೇತ್ರದಲ್ಲಿವೆ.

ಸಣ್ಣ ಭಾಷಾ ಮಾದರಿಗಳು ಎಂದರೇನು?

ಸಣ್ಣ ಭಾಷಾ ಮಾದರಿ (SLM) ಎಂದರೆ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಯ (LLM) ಕಡಿಮೆಗೊಳಿಸಿದ ರೂಪಾಂತಾರವಾಗಿದೆ, ಇದರಲ್ಲಿ LLMಗಳ ವಾಸ್ತುಶಿಲ್ಪಿಕ 원칙ಗಳು ಮತ್ತು ತಂತ್ರಗಳನ್ನು ಉಪಯೋಗಿಸಿ, ಗಣನಾಕೀಯ ದೇಶಾಂಶವನ್ನು ಬಹು ಪ್ರಮಾಣದಲ್ಲಿ ಕಡಿಮೆ ಮಾಡಲಾಗಿದೆ.

SLMಗಳು ಮಾನವಸಮಾನ ಪಠ್ಯವನ್ನು ರಚಿಸಲು ವಿನ್ಯಾಸಗೊಳಿಸಿದ ಭಾಷಾ ಮಾದರಿಗಳ ಉಪಸಮಿತಿಯಾಗಿವೆ. GPT-4 ಮುಂತಾದ ದೊಡ್ಡ ಮಾದರಿಗಳಿಗಿಂತ ವಿಭಿನ್ನವಾಗಿ, SLMಗಳು ಹೆಚ್ಚುವರಿ ಸಡಿಲತೆ ಮತ್ತು ಪರಿಣಾಮಕಾರಿ ಗಾತ್ರ ಹೊಂದಿದ್ದು, ಗಣನಾಕೀಯ ಸಂಪನ್ಮೂಲಗಳು ಕಡಿಮೆಯಿರುವ ಅನ್ವಯಗಳಿಗೆ ಸೂಕ್ತವಾಗಿವೆ. ಸಣ್ಣ ಗಾತ್ರವಿದ್ದರೂ ಇವು ಹಲವಾರು ಕಾರ್ಯಗಳನ್ನು ನೆರವೇರಿಸಬಹುದು. ಸಾಮಾನ್ಯವಾಗಿ SLMಗಳನ್ನು LLMಗಳನ್ನು ಸಂಕುಚಿತಗೊಳಿಸುವ ಅಥವಾ ವಿಲೀನವಾಗಿಸುವ ಮೂಲಕ ನಿರ್ಮಿಸಲಾಗುತ್ತದೆ, ಮೂಲ ಮಾದರಿಯ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಭಾಷೆಸಂಬಂಧಿ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಸಾಕಷ್ಟು ಉಳಿಸಲು ಪ್ರಯತ್ನಿಸಲಾಗುತ್ತದೆ. ಈ ಗಾತ್ರ ಕಡಿತದ ಮೂಲಕ ಸಂಪೂರ್ಣ ಜಟಿಲತೆ ಕಡಿಮೆಯಾಗುತ್ತದೆ, ಇದರಿಂದ SLMಗಳು ಸ್ಮೃತಿ ಬಳಕೆ ಮತ್ತು ಗಣನಾಕೀಯ ಅಗತ್ಯಗಳ ಸೇರಿಗೆ ಹೆಚ್ಚು ಪರಿಣಾಮಕಾರಿಗಳಾಗುತ್ತವೆ. ಇವುಗಳ ಸುಧಾರಿತತೆಗಳ ನಡುವೆಯೂ SLMಗಳು ಬಗೆಬಗೆಯ ಪ್ರಾಕೃತಿಕ ಭಾಷೆ ಸಂಸ್ಕರಣಾ ಕಾರ್ಯಗಳನ್ನು ನೆರವೇರಿಸಬಹುದು:

  • ಪಠ್ಯ ಸೃಷ್ಟಿ: ಸಮಂಜಸವಾಗಿರುವ ಮತ್ತು ಸಂದರ್ಭಾನುಕೂಲವನ್ನು ಗಮನಿಸಿದ ವಾಕ್ಯಗಳು ಅಥವಾ ಪ್ಯಾರಾಗ್ರಾಫ್‌ಗಳನ್ನು ರಚಿಸುವುದು.
  • ಪಠ್ಯ ಪೂರ್ಣಗೊಳಿಸುವಿಕೆ: ಕೊಟ್ಟ ಪ್ರಾಂಪ್ಟ್ ಆಧರಿಸಿ ವಾಕ್ಯಗಳನ್ನು ಊಹಿಸಿ ಮತ್ತು ಸಂಪೂರ್ಣಗೊಳಿಸುವುದು.
  • ಭಾಷಾಂತರ: ಒಂದೊಂದು ಭಾಷೆಯಿಂದ ಇನ್ನೊಂದಕ್ಕೆ ಪಠ್ಯವನ್ನು ಪರಿವರ್ತಿಸುವುದು.
  • ಸಂಕ್ಷೇಪಣೆ: ದೊಡ್ಡ ಪಠ್ಯವನ್ನು ಹೆಚ್ಚು ಸಂಕ್ಷಿಪ್ತ ಮತ್ತು ಸುಲಭವಾಗಿ ಅರಿಯಬಹುದಾದ ಸಾರಾಂಶಗಳಿಗೆ ಸಂಕ್ಷಿಪ್ತಗೊಳಿಸುವುದು.

ದೊಡ್ಡ ಮಾದರಿಗಳಿಗಿಂತ ಕಾರ್ಯಕ್ಷಮತೆ ಅಥವಾ ಅರ್ಥಗಾಢತೆ ವಿಷಯದಲ್ಲಿ ಕೆಲವು ವ್ಯತ್ಯಾಸಗಳಿದ್ದರೂ ಹಂಚಿಕೆಯಾಗುತ್ತದೆ.

ಸಣ್ಣ ಭಾಷಾ ಮಾದರಿಗಳು ಹೇಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ?

SLMಗಳು ಬಹಳ ಪ್ರಮಾಣದ ಪಠ್ಯ ಡೇಟಾ ಬಳಸಿ ತರಬೇತಿಗೊಳ್ಳುತ್ತವೆ. ತರಬೇತಿ ವೇಳೆ, ಅವು ಭಾಷೆಯ ಮಾದರಿಗಳು ಮತ್ತು ರಚನೆಗಳನ್ನು ಕಲಿಯುತ್ತವೆ, ಇದರಿಂದGRAMದ್ಹೃತವಾಗಿ ಸರಿಯಾದ ಮತ್ತು ಸಂದರ್ಭಾನುಕೂಲವಾಗಿರುವ ಪಠ್ಯವನ್ನು ರಚಿಸಲು ಸಿದ್ಧವಾಗುತ್ತವೆ. ತರಬೇತಿ ಪ್ರಕ್ರಿಯೆ ಒಳಗೊಂಡದ್ದು:

  • ಡೇಟಾ ಸಂಗ್ರಹಣೆ: ವಿವಿಧ ಮೂಲಗಳಿಂದ ಪಠ್ಯದ ದೊಡ್ಡ ಡೇಟಾಸೆಟ್ ಗಳ ಸಂಗ್ರಹಣೆ.
  • ಪೂರ್ವ ಸಂಸ್ಕರಣೆ: ತರಬೇತಿಗಾಗಿ ಡೇಟಾವನ್ನು ಸ್ವಚ್ಛಗೊಳಿಸುವುದು ಮತ್ತು ವ್ಯವಸ್ಥಿತಗೊಳಿಸುವುದು.
  • ತರಬೇತಿ: ಯಂತ್ರ ಕಲಿಕೆಯ ಅಲ್ಗಾರಿಥಂಗಳ ಮೂಲಕ ಮಾದರಿಯನ್ನು ಪಠ್ಯವನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಮತ್ತು ಸೃಷ್ಟಿಸಲು ಶಿಕ್ಷಿಸುವುದು.
  • ಸೂಕ್ಷ್ಮ-ಸಂಯೋಜನೆ: ನಿಖರ ಕಾರ್ಯಗಳಲ್ಲಿ ದಕ್ಷತೆಯನ್ನು ಸುಧಾರಿಸಲು ಮಾದರಿಯನ್ನು ಹೊಂದಿಸುವುದು.

SLMಗಳ ಅಭಿವೃದ್ಧಿ ಸಂಪನ್ಮೂಲ ಸೀಮಿತ ವಾತಾವರಣಗಳಲ್ಲಿ, ಮುಂತಾಗಿ ಮೊಬೈಲ್ ಸಾಧನಗಳು ಅಥವಾ ಎಡ್ಜ್ ಗಣನೆ ವೇದಿಕೆಗಳಲ್ಲಿ, ಸ್ಥಳೀಯವಾಗಿ ಅನುಸ್ಥಾಪಿಸಬಹುದಾದ ಮಾದರಿಗಳ ಅಗತ್ಯದೊಂದಿಗೆ ಹೊಂದಿಕೊಳ್ಳುತ್ತದೆ, ಇಲ್ಲಿ ಸಂಪೂರ್ಣ ದೊಡ್ಡ LLMಗಳು ತಮ್ಮ ಭಾರೀ ಸಂಪನ್ಮೂಲ ಅವಶ್ಯಕತೆಗಳ ಕಾರಣ ಅನ್ವಯಿಸಬಾರದಿದ್ದರೆ. ಪರಿಣಾಮಕಾರಿತ್ವದಲ್ಲಿ ಗಮನಹರಿಸುವುದರಿಂದ, SLMಗಳು ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಪ್ರವೇಶಸಾಧ್ಯತೆ ನಡುವಣ ಸಮತೋಲನ ನೀಡುತ್ತವೆ, ವಿವಿಧ ಕ್ಷೇತ್ರಗಳಲ್ಲಿ ತಲುಪಬಹುದಾದ ಅನ್ವಯಗಳನ್ನು ಸಹಾಯಕವಾಗುತ್ತವೆ.

slm

ಕಲಿಕೆ ಗುರಿಗಳು

ಈ ಪಾಠದಲ್ಲಿ, ನಾವು SLM գիտುವನ್ನು ಪರಿಚಯಿಸಿ, ಅದನ್ನು Microsoft Phi-3 ಜೊತೆಗೆ ಸಂಯೋಜಿಸಿ ಪಠ್ಯ ವಿಷಯ, ದೃಷ್ಠಿ ಮತ್ತು MoEಯಲ್ಲಿನ ವಿಭಿನ್ನ ಸಂದರ್ಭಗಳನ್ನು ಅಧ್ಯಯನ ಮಾಡಬೇಕೆಂದು ಆಶಿಸುತ್ತೇವೆ.

ಪಾಠದ ಅಂತ್ಯದಲ್ಲಿ ನೀವು ಮುಂದಿನ ಪ್ರಶ್ನೆಗಳಿಗೆ ಉತ್ತರ ನೀಡಲು ಸಾಧ್ಯವಾಗುವುದು:

  • SLM ಎಂದರೇನು?
  • SLM ಮತ್ತು LLM ನಡುವೆ ಏನು ವ್ಯತ್ಯಾಸವಿದೆ?
  • Microsoft Phi-3/3.5 ಕುಟುಂಬ ಎಂದರೇನು?
  • Microsoft Phi-3/3.5 ಕುಟುಂಬದೊಂದಿಗೆ ಇನ್ಫರೆನ್ಸ್ ಅನ್ನು ಹೇಗೆ ನಡೆಸುವುದು?

ಸಿದ್ಧರೇ? ಪ್ರಾರಂಭಿಸೋಣ.

ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳು (LLMs) ಮತ್ತು ಸಣ್ಣ ಭಾಷಾ ಮಾದರಿಗಳು (SLMs) ನಡುವಿನ ವ್ಯತ್ಯಾಸಗಳು

LLMಗಳು ಮತ್ತು SLMಗಳು概率 ತಂತ್ರಜ್ಞಾನದ ಯಂತ್ರ ಕಲಿಕೆಯ ಮೂಲಭೂತ 원칙ಗಳ ಮೇಲೆ ಆಧಾರಿತವಾಗಿದ್ದು, ಅಲ್ಲಿಯೇ ದೊರಕುವ ವಾಸ್ತುಶಿಲ್ಪಿಕ ವಿನ್ಯಾಸ, ತರಬೇತಿ ವಿಧಾನಗಳು, ಡೇಟಾ ಉತ್ಪಾದನಾ ಪ್ರಕ್ರಿಯೆಗಳು ಮತ್ತು ಮಾದರಿಯ ಮೌಲ್ಯಮಾಪನ ತಂತ್ರಗಳ ರೀತಿ ಒಂದೇ ಬಗೆ. ಆದಾಗ್ಯೂ, ಕೆಲವು ಪ್ರಮುಖ ಅಂಶಗಳು ಈ ಎರಡು ಮಾದರಿಗಳನ್ನು ವಿಭಿನ್ನಗೊಳಿಸುತ್ತವೆ.

ಸಣ್ಣ ಭಾಷಾ ಮಾದರಿಗಳ ಅನ್ವಯಗಳು

SLMಗಳಿಗೆ ಕೆಳಗಿನಂತಹ ಹಲವಾರು ಅನ್ವಯಗಳು ಇವೆ:

  • ಚಾಟ್‌ಬಾಟ್‌ಗಳು: ಗ್ರಾಹಕ ಬೆಂಬಲವನ್ನು ಒದಗಿಸುವುದು ಮತ್ತು ಬಳಕೆದಾರರೊಂದಿಗೆ ಸಂವಾದ ರೂಪದಲ್ಲಿ ಪಟ್ಟಿ ನಡೆಸುವುದು.
  • ವಿಷಯ ನಿರ್ಮಾಣ: ಬರಹಗಾರರಿಗೆ ಆಲೋಚನೆಗಳನ್ನು ಹುಟ್ಟುಹಾಕುವಲ್ಲಿ ಸಹಾಯ ಮಾಡುವುದು ಅಥವಾ ಸಂಪೂರ್ಣ ಲೇಖನಗಳ ರಚನೆ ಮಾಡಲು ಸಹಾಯ ಮಾಡುವುದು.
  • ಶಿಕ್ಷಣ: ವಿದ್ಯಾರ್ಥಿಗಳಿಗೆ ಬರವಣಿಗೆ ಕಾರ್ಯಗಳಲ್ಲಿ ಅಥವಾ ಹೊಸ ಭಾಷೆಗಳನ್ನು ಕಲಿಯಲು ಸಹಾಯ ಮಾಡುವುದು.
  • ಪ್ರವೇಶಾಭಿವೃದ್ಧಿ: ಅಂಗವಿಕಲರಿಗೆ ಪಠ್ಯ-ದಿಂದ-ಧ್ವನಿಗೆ ವ್ಯವಸ್ಥೆಗಳಂತಹ ಉಪಕರಣಗಳನ್ನು ಸೃಷ್ಟಿಸುವುದು.

ಗಾತ್ರ

LLMಗಳು ಮತ್ತು SLMಗಳ ಪ್ರಮುಖ ವ್ಯತ್ಯಾಸ ಮಾದರಿಗಳ ಗಾತ್ರದಲ್ಲಿ ಇದೆ. ChatGPT (GPT-4) ಮುಂತಾದ LLMಗಳು ಸರ್ವ ನಿಮ್ಮ 1.76 ಟ್ರಿಲಿಯನ್ ಪರಿಪರಿಮಾಣಗಳನ್ನು ಹೊಂದಿರುವಾಗ, ಮುಕ್ತ ಮೂಲದ SLMಗಳು ಉದಾಹರಣೆಗೆ Mistral 7B, ಸುಮಾರು 7 ಬಿಲಿಯನ್ ಪರಿಪರಿಮಾಣಗಳನ್ನು ಹೊಂದಿವೆ. ಈ ಭೇದವು ಮುಖ್ಯವಾಗಿ ಮಾದರಿ ವಾಸ್ತುಶಿಲ್ಪ ಮತ್ತು ತರಬೇತಿ ಪ್ರಕ್ರಿಯೆಗಳ ವ್ಯತ್ಯಾಸಗಳಿಂದ ಬಂದಿದೆ. ಉದಾಹರಣೆಗೆ, ChatGPT ಒಂದು ಎನ್ಕೋಡರ್-ಡೆಕೋಡರ್ ರೂಪದಲ್ಲಿ ಸ್ವ-ಧ್ಯಾನ ಯಂತ್ರವನ್ನು ಉಪಯೋಗಿಸುವಾಗ, Mistral 7B ಡೆಕೋಡರ್-ಮಾತ್ರ ಮಾದರಿಯಲ್ಲಿ ಸ್ಲೈಡಿಂಗ್ ವಿಂಡೋತ ಪ್ರಾರ್ಥನೆಗೆ ಅನುಕೂಲಕರವಾದ ಗಮನವನ್ನು ಉಪಯೋಗಿಸುತ್ತದೆ. ಈ ವಾಸ್ತುಶಿಲ್ಪ ವ್ಯತ್ಯಾಸಗಳು ಇವುಗಳ ಜಟಿಲತೆ ಮತ್ತು ಕಾರ್ಯಕ್ಷಮತೆಗೆ ಘನ ಪರಿಣಾಮಗಳನ್ನುಂಟುಮಾಡುತ್ತವೆ.

ಅರ್ಥಮಾಡಿಕೆ

SLMಗಳು ಸಾಮಾನ್ಯವಾಗಿ ನಿರ್ದಿಷ್ಟ ಕ್ಷೇತ್ರಗಳಲ್ಲಿ ಕಾರ್ಯಚರಣೆಗೆ ಹೆಚ್ಚುವರಿ ದಕ್ಷತೆಗಾಗಿ ಹೊಂದಿಸಲ್ಪಟ್ಟಿದೆ, ಇವುಗಳು ಬಹುಮುಖ ಪ್ರಾಯೋಗಿಕ ಜ್ಞಾನಕ್ಕೆ ವ್ಯಾಪಕ ಅರ್ಥಮಾಡಿಕೆಗೆ ಕೆಲವುಶಕ್ತಿಯಾಗದಿರಬಹುದು. ಹೀಗಾಗಿ, LLMಗಳು ಹೆಚ್ಚಿನ ಮಾನವಸಮಾನ ಬುದ್ಧಿಮತ್ತೆಯನ್ನು ಅನೇಕ ಕ್ಷೇತ್ರಗಳಲ್ಲಿ ಅನುಕೂಲವಾಗುವಂತೆ ಕಲ್ಪಿಸುತ್ತವೆ. ವಿಭಿನ್ನ ಮತ್ತು ವಿಶಾಲ ಡೇಟಾಸೆಟ್‌ಗಳಲ್ಲಿ ತರಬೇತಿಗೊಂಡಿರುವ LLMಗಳು ವಿವಿಧ ಕ್ಷೇತ್ರಗಳಲ್ಲಿ ಉತ್ತಮ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ತೋರಿಸುತ್ತವೆ, ಹೆಚ್ಚು ವಿಸ್ತೃತತೆ ಹಾಗೂ ಹೊಂದಾಣಿಕೆಯನ್ನು ಒದಗಿಸುತ್ತವೆ. ಆದ್ದರಿಂದ, LLMಗಳು ನೈಸರ್ಗಿಕ ಭಾಷೆಯ ಸಂಸ್ಕರಣೆ ಮತ್ತು ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಮುಂತಾದ ಜಟಿಲ ಕಾರ್ಯಗಳಿಗೆ ಹೆಚ್ಚು ಸೂಕ್ತವಾಗಿವೆ.

ಗಣನೆ

LLMಗಳ ತರಬೇತಿ ಮತ್ತು ನಿಯೋಜನೆ ಬಹಳ ಸಂಪನ್ಮೂಲಗ್ರಸ್ತ, ಸಾಮಾನ್ಯವಾಗಿ ಭಾರೀ ಗಣನಾಕೀಯ ಮೂಲಸೌಕರ್ಯ, ಹೆಚ್ಚಿದ ಪ್ರಮಾಣದ GPU ಗುಂಪುಗಳಿಗೆ ಅಗತ್ಯವಿದೆ. ಉದಾಹರಣೆಗೆ, ChatGPT ನಂಥ ಮಾದರಿಯನ್ನು ಮೌಲ್ಯಮಾಪನದಿಂದ ಆರಂಭಿಸಲು ಸಾವಿರಾರು GPUs ಕೆಲವೇ ದಿನಗಳಿಗೆ ಬೇಕಾಗಬಹುದು. ಹೋಲಿಕೆಯಲ್ಲಿ, SLMಗಳು ತಮ್ಮ ಕಡಿಮೆ ಪರಿಪರಿಮಾಣಗಳೊಂದಿಗೆ ಗಣನಾಕೀಯ ಸಂಪನ್ಮೂಲಗಳ ದೃಷ್ಟಿಯಿಂದ ಹೆಚ್ಚು ಅನುಕೂಲವಾಗಿವೆ. Mistral 7B ನಂಥ ಮಾದರಿಗಳನ್ನು ಮಧ್ಯಮ ಮಟ್ಟದ GPU ಸಾಮರ್ಥ್ಯ ಇರುವ ಸ್ಥಳೀಯ ಯಂತ್ರಗಳಲ್ಲಿ ಕೂಡ ತರಬೇತಿಗೊಳಿಸಲು ಮತ್ತು ಓಡಿಸಲು ಸಾಧ್ಯವಿದೆ, ಆದರೆ ತರಬೇತಿ ಇನ್ನೂ ಕೆಲವು ಗಂಟೆಗಳ ಸಮಯ ಮತ್ತು ಹಲವಾರು GPUಗಳ ಅಗತ್ಯವಿದೆ.

ಭೇದಭಾವ

LLMಗಳಲ್ಲಿ ಒಬ್ಬ ಶ್ರದ್ಧೆಯಾದ ಸಮಸ್ಯೆ ಭೇದಭಾವ (Bias) ಆಗಿದ್ದು, ಮುಖ್ಯವಾಗಿ ತರಬೇತಿ ಡೇಟಾದ ಸ್ವರೂಪಕ್ಕೆ ಕಾರಣವಾಗಿದೆ. ಈ ಮಾದರಿಗಳು ಖಾಲಿ, ಸಾರ್ವಜನಿಕವಾಗಿ ಲಭ್ಯವಿರುವ ಇಂಟರ್ನೆಟ್ ಮಾರ್ಗದತ್ತ ಸಂಗ್ರಹಿಸಿದ ಡೇಟಾವನ್ನು ಅವಲಂಬಿಸುವುದರಿಂದ, ಕೆಲವು ಸಮೂಹಗಳನ್ನು ಕಡಿಮೆ ಪ್ರತಿನಿಧಿಸುವಂಥ ಅಥವಾ ತಪ್ಪಿತಸ್ಥ ಪ್ರತ್ಯಯಗಳನ್ನು ಒಳಗೊಂಡಿರಬಹುದು, ತೆರೆಯಲ್ಲಿನ ಭಾಷಾ ಭೇದ ಭಾವಗಳು, ಭಾಷಾ ಸಂಭ್ರಮಗಳು, ಗರಿಮಾರ್ಶನ ನಿಯಮಗಳು ಪರಿಣಾಮ ಬೀರುತ್ತವೆ. ಹೆಚ್ಚುವರಿ, LLMಳ ಜಟಿಲ ವಾಸ್ತುಶಿಲ್ಪವು ಈ ಭೇದಭಾವವನ್ನು ಅನಗತ್ಯವಾಗಿ ಹೆಚ್ಚಿಸಬಹುದು, ಮತ್ತು ಸೂಕ್ಷ್ಮ-ಸಂಯೋಜನೆಯಿಲ್ಲದೆ ಅದು ಗಮನ ಸೆಳೆಯದು ಹೋಗಬಹುದು. ಪರ್ಯಾಯವಾಗಿ, SLMಗಳು ನಿಯಮಿತ, ಕ್ಷೇತ್ರ-ನಿರ್ದಿಷ್ಟ ಡೇಟಾಸೆಟ್ ಗಳಲ್ಲಿ ತರಬೇತಿ ಪಡೆದಿರುವುದರಿಂದ ಸಹಜವಾಗಿ ಇಂತಹ ಭೇದಭಾವಗಳಿಗೆ ಕಡಿಮೆ ಪ್ರಮಾಣದಲ್ಲಿ ಒಳಗಾಗುತ್ತವೆ, ಆದರೂ ಸಂಪೂರ್ಣವಾಗಿ ಮುಕ್ತವಲ್ಲ.

ಇನ್ಫರೆನ್ಸ್

SLMಗಳ ಕಡಿಮೆ ಗಾತ್ರ ಇವುಗಳಿಗೆ ಇನ್ಫರೆನ್ಸ್ ಸಮಯದಲ್ಲಿ ದೊಡ್ಡ ಲಾಭವನ್ನು ನೀಡುತ್ತದೆ, ಇದು ಸ್ಥಳೀಯ ಸಾಧನಗಳಲ್ಲಿ ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಇನ್ಫರೆನ್ಸ್ ಮಾಡಲು ಸಾಧ್ಯವಾಗಿಸುತ್ತದೆ, ಅಗತ್ಯವಿದ್ಯಮಾನವಾದ ಸಮಾಂತರ ಪ್ರಕ್ರಿಯೆಗೆ ಅವಶ್ಯಕತೆ ಇಲ್ಲದೆ. ಹೋಲಿಕೆಯಲ್ಲಿ, LLMಗಳು ತಮ್ಮ ಗಾತ್ರ ಮತ್ತು ಜಟಿಲತೆಯಿಂದಾಗಿ ಸ್ವೀಕೃತ ಇನ್ಫರೆನ್ಸ್ ಸಮಯ ನಿರ್ವಹಿಸಲು ಹೆಚ್ಚು ಸಮಾಂತರ ಗಣನಾಕೀಯ ಸಂಪನ್ಮೂಲಗಳನ್ನು ಕೇಳುತ್ತವೆ. ಅನೇಕ ಬಳಕೆದಾರರ ಒಟ್ಟು ಇದರಿಂದ LLMಗಳ ಪ್ರತಿಕ್ರಿಯೆ ಸಮಯಗಳು ಹೊರಾಂಗಣದಲ್ಲಿ ಹೆಚ್ಚು ನಿಧಾನವಾಗಬಹುದು.

ಸಂಕ್ಷಿಪ್ತವಾಗಿ, LLMಗಳು ಮತ್ತು SLMಗಳು ಯಂತ್ರ ಕಲಿಕೆಯಲ್ಲಿ ಪಾರದರ್ಶಕ ಆಧಾರವನ್ನು ಹಂಚಿಕೊಳ್ಳುತ್ತಿರುವುದಲ್ಲದೆ, ಮಾದರಿ ಗಾತ್ರ, ಸಂಪನ್ಮೂಲ ಅಗತ್ಯ, ಸಂದರ್ಭ ಅನುಭವ, ಭೇದಭಾವದ ಪ್ರಭಾವ ಮತ್ತು ಇನ್ಫರೆನ್ಸ್ ವೇಗದ ವಿಷಯಗಳಲ್ಲಿ ಪ್ರಮುಖ ವ್ಯತ್ಯಾಸಗಳಿವೆ. ಈ ವ್ಯತ್ಯಾಸಗಳು ಅವರಿಗೆ ವಿಭಿನ್ನ ಉಪಯೋಗಕ್ಕೆ ಸೂಕ್ತತೆಯನ್ನು ತೋರಿಸುತ್ತವೆ, LLMಗಳು ಹೆಚ್ಚು ವಿಸ್ತೃತವಾದ ಬದಲು ಸಂಪನ್ಮೂಲ-ಭಾರವನ್ನು ಹೊಂದಿರುವವರಾಗಿದ್ದು, SLMಗಳು ಕಡಿಮೆ ಗಣನಾಕೀಯ ಬೇಡಿಕೆಗಳೊಂದಿಗೆ ಹೆಚ್ಚು ಕ್ಷೇತ್ರ-ನಿರ್ದಿಷ್ಟ ದಕ್ಷತೆಗಳನ್ನು ಒದಗಿಸುತ್ತವೆ.

ಗಮನಿಸಿ: ಈ ಪಾಠದಲ್ಲಿ, ನಾವು Microsoft Phi-3 / 3.5ಯನ್ನು ಮಾದರಿಯಾಗಿ ಉಪಯೋಗಿಸಿ SLMಅನ್ನು ಪರಿಚಯಿಸುವೆವು.

Phi-3 / Phi-3.5 ಕುಟುಂಬ ಪರಿಚಯ

Phi-3 / 3.5 ಕುಟುಂಬ ಮುಖ್ಯವಾಗಿ ಪಠ್ಯ, ದೃಷ್ಠಿ ಮತ್ತು ಏಜೆಂಟ್ (MoE) ಅನ್ವಯ ಸಂಧರ್ಭಗಳಿಗೆ ಗುರಿಯಾಗಿವೆ:

Phi-3 / 3.5 ಸೂಚನೆ

ಮುಖ್ಯವಾಗಿ ಪಠ್ಯ ರಚನೆ, ಚಾಟ್ ಪೂರ್ಣಗೊಳಿಸುವಿಕೆ ಮತ್ತು ವಿಷಯ ಮಾಹಿತಿ ಸಂಗ್ರಹಣೆಗೆ.

Phi-3-mMini

3.8B ಭಾಷಾ ಮಾದರಿ Microsoft Foundry, Hugging Face ಮತ್ತು Ollamaನಲ್ಲಿ ಲಭ್ಯವಿದೆ. Phi-3 ಮಾದರಿಗಳು ಸಮಾನ ಮತ್ತು ದೊಡ್ಡ ಗಾತ್ರದ ಭಾಷಾ ಮಾದರಿಗಳಿಗಿಂತ ಪ್ರಮುಖ ಮೌಲ್ಯಮಾಪನದಲ್ಲಿ ಬಹುಮುಖ್ಯವಾಗಿ ಮೇಲುಗೈ ಸಾಧಿಸುತ್ತವೆ (ಕೆಳಗಿನ ಮೌಲ್ಯಮಾಪನ ಸಂಖ್ಯೆಗಳು ನೋಡಿ, ಹೆಚ್ಚಿನ ಸಂಖ್ಯೆ ಉತ್ತಮ). Phi-3-mini ಅದರ ಗಾತ್ರದ ಎರಡುಪಟ್ಟು ಮಾದರಿಗಳನ್ನು ಮೆಚ್ಚಿಸಲ್ಪಟ್ಟಂತೆ ಮೀರಿ ಜಯಿಸುತ್ತದೆ, ಮತ್ತು Phi-3-small ಮತ್ತು Phi-3-medium ಮೌಲ್ಯಮಾಪನಗಳಲ್ಲಿ ದೊಡ್ಡ ಮಾದರಿಗಳನ್ನು, GPT-3.5 ಸೇರಿ, ಉತ್ತಮ ಸಾಧನೆ ಮಾಡುತ್ತವೆ.

Phi-3-small & medium

7B ಪರಿಮಾಣಗಳೊಂದಿಗೆ Phi-3-small ಭಾಷಾ, ತಾರ್ಕಿಕತೆ, ಕೋಡಿಂಗ್ ಮತ್ತು ಗಣಿತದ ಬೆಂಚ್ಮಾರ್ಕ್‌ಗಳಲ್ಲಿ GPT-3.5T ಅನ್ನು ಮೀರಿಸುತ್ತದೆ.

14B ಪರಿಮಾಣಗಳ Phi-3-medium ತರವಾಯಿಗೆ ಮುಂದುವರೆದಂತೆ Gemini 1.0 ಪ್ರೊಯನ್ನು ಮೀರಿಸುತ್ತದೆ.

Phi-3.5-mini

ಇದು Phi-3-mini ಯ ಉಪಗ್ರಹದಂತೆ ಪರಿಗಣಿಸಬಹುದು. ಪರಿಮಾಣಗಳು ಅಜರುಕುಕು ಬದಲಾಯದಿದ್ದರೂ, 20+ ಭಾಷೆಗಳ (ಅರೇಬಿಕ್, ಚೀನೀಸ್, ಚೆಕ್, ಡೇನಿಷ್, ಡಚ್, ಇಂಗ್ಲಿಷ್, ಫಿನಿಷ್, ಫ್ರೆಂಚ್, ಜರ್ಮನ್, ಹೀಬ್ರೂ, ಹಂಗೇರಿಯನ್, ಇಟಾಲಿಯನ್, ಜಪಾನೀಸ್, ಕೊರಿಯನ್, ನಾರ್ವೇನಿಯನ್, ಪೋಲಿಷ್, ಪೋರ್ಚುಗೀಸ್, ರಷಿಯನ್, ಸ್ಪ್ಯಾನಿಷ್, ಸ್ವೀಡಿಷ್, ತಾಯಿ, ಟರ್ಕಿಷ್, ಉಕ್ರೇನಿಯನ್) ಬೆಂಬಲ ಹಾಗೂ ಹೆಚ್ಚಿದ ದೀರ್ಘ ಸಂದರ್ಭ ಬೆಂಬಲ ಹೊಂದಿದೆ.

3.8B ಪರಿಮಾಣಗಳ Phi-3.5-mini ತನ್ನ ಗಾತ್ರದ ಸಮಾನ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಮೀರಿ, ಅದರ ಗಾತ್ರದ ಎರಡುಪಟ್ಟು ಮಾದರಿಯೊಡನೆ ಸಮನಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ.

Phi-3 / 3.5 ದೃಷ್ಠಿ

Phi-3/3.5 ನ ಸೂಚನಾ ಮಾದರಿಯನ್ನು Phiನ ತಿಳಿವಳಿಕೆಯ ಸಾಮರ್ಥ್ಯ ಎಂದು ಪರಿಗಣಿಸಬಹುದು, ಮತ್ತು ದೃಷ್ಠಿ Phiಗೆ ಪ್ರಪಂಚವನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಕಣ್ಣುಗಳನ್ನು ಕೊಡುತ್ತದೆ.

Phi-3-ದೃಷ್ಠಿ

4.2B ಪರಿಮಾಣಗಳ Phi-3-ದೃಷ್ಠಿ ಸಾಮಾನ್ಯ ದೃಶ್ಯ ತಾರ್ಕಿಕತೆ ಕಾರ್ಯಗಳು, OCR, ಹಾಗೂ ಟೇಬಲ್ ಮತ್ತು ದೃಶ್ಯಾಕೃತಿ ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವ ಕಾರ್ಯಗಳಲ್ಲಿ Claude-3 Haiku ಮತ್ತು Gemini 1.0 ಪ್ರೊ ಮುಂತಾದ ದೊಡ್ಡ ಮಾದರಿಗಳನ್ನು ಮೀರಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ.

Phi-3.5-ದೃಷ್ಠಿ

Phi-3-ದೃಷ್ಠಿಯ ಉಪಗ್ರಹವಾಗಿರುವ Phi-3.5-ದೃಷ್ಠಿ ಬಹುಚಿತ್ರಗಳ ಬೆಂಬಲವನ್ನು ಹೆಚ್ಚಿಸಿದೆ. ನೀವು ಇದನ್ನು ದೃಷ್ಟಿಯ ಸುಧಾರಣೆ ಎಂದು ನೋಡಬಹುದು, ಏಕೆಂದರೆ ನೀವು ಚಿತ್ರಗಳನ್ನಷ್ಟೇ ಅಲ್ಲದೆ ವೀಡಿಯೊಗಳನ್ನು ಕೂಡ ನೋಡಬಹುದು.

Phi-3.5-ದೃಷ್ಠಿ OCR, ಟೇಬಲ್ ಮತ್ತು ಚార్ట్ ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವ ಕಾರ್ಯಗಳಲ್ಲಿ Claude-3.5 Sonnet ಮತ್ತು Gemini 1.5 Flash ಮುಂತಾದ ದೊಡ್ಡ ಮಾದರಿಗಳನ್ನು ಮೀರಿ ಕಾರ್ಯ ನಿರ್ವಹಿಸಿ ಸಾಮಾನ್ಯ ದೃಶ್ಯಜ್ಞಾನ ತಾರ್ಕಿಕತೆ ಕಾರ್ಯಗಳಲ್ಲಿ ಸಮನಾಗಿರುತ್ತದೆ. ಇದು ಬಹು-ಫ್ರೇಮ್ ಇನ್ಪುಟ್ ಬೆಂಬಲಿಸುತ್ತದೆ, ಅಂದರೆ ಬಹುಚಿತ್ರದ ಇನ್ಪುಟ್ ಮೇಲೆ ತಾರ್ಕಿಕತೆ ನಡೆಸುತ್ತದೆ.

Phi-3.5-MoE

Specialists ಮಿಶ್ರಣ (MoE) ಮಾದರಿಗಳನ್ನು ಕಡಿಮೆ ಗಣನಾಕೀಯ ಖರ್ಚಾಗಲಿ ಪೂರ್ವ ತರಬೇತಿಗೆ ಸಾದ್ಯ ಮಾಡುತ್ತದೆ, ಎಂದರೆ ನೀವು ಅದೇ ಗಣನಾಕೀಯ ಬಜೆಟ್‌ನಲ್ಲಿ ಮಾದರಿ ಅಥವಾ ಡೇಟಾಸೆಟ್ ಗಾತ್ರವನ್ನು ಬಹಳಷ್ಟು ವಿಸ್ತರಿಸಬಹುದು. ವಿಶೇಷವಾಗಿ, MoE ಮಾದರಿ ತನ್ನ ಹರಡಿಕೆಗೆ ಹೋಲಿಸಿದರೆ ಹೆಚ್ಚು ವೇಗದಲ್ಲಿ ಅಧಿಕ ಗುಣಮಟ್ಟವನ್ನು ಸಾಧಿಸುತ್ತದೆ.

Phi-3.5-MoE 16x3.8B ತಜ್ಞ ಮಾದರಿ ಘಟಕಗಳನ್ನು ಹೊಂದಿದೆ. Phi-3.5-MoE ಕೇವಲ 6.6B ಸಕ್ರಿಯ ಪರಿಮಾಣಗಳೊಂದಿಗೆ ಬಹು ದೊಡ್ಡ ಮಾದರಿಗಳಷ್ಟು ತಾರ್ಕಿಕತೆ, ಭಾಷೆ ಅರ್ಥಮಾಡಿಕೆ ಮತ್ತು ಗಣಿತ ಸಾಮರ್ಥ್ಯವನ್ನು ಹೊಂದಿದೆ.

ನಾವು Phi-3/3.5 ಕುಟುಂಬದ ಮಾದರಿಗಳನ್ನು ವಿಭಿನ್ನ ಸಂದರ್ಭಗಳಲ್ಲಿ ಉಪಯೋಗಿಸಬಹುದು. LLMಗೆ ವಿರುದ್ಧವಾಗಿ, Phi-3/3.5-mini ಅಥವಾ Phi-3/3.5-ದೃಷ್ಠಿಯನ್ನು ಎಡ್ಜ್ ಸಾಧನಗಳಲ್ಲಿ ನಿಯೋಜಿಸಬಹುದು.

Phi-3/3.5 ಕುಟುಂಬ ಮಾದರಿಗಳನ್ನು ಹೇಗೆ ಉಪಯೋಗಿಸುವುದು

ನಮಗೆ Phi-3/3.5ಯನ್ನು ವಿಭಿನ್ನ ಸಂದರ್ಭಗಳಲ್ಲಿ ಬಳಸಿ ನೋಡಲು ಆಸಕ್ತಿ ಇದೆ. ಮುಂದಿನ ಹಂತದಲ್ಲಿ, ನಾವು ವಿಭಿನ್ನ ಸಂದರ್ಭಗಳ ಆಧಾರದಲ್ಲಿ Phi-3/3.5ಯನ್ನು ಉಪಯೋಗಿಸುವೆವು.

phi3

ಕ್ಲೌಡ್ APIಗಳ ಮೂಲಕ ಇನ್ಫರೆನ್ಸ್

Microsoft Foundry ಮಾದರಿಗಳು

ಗಮನಿಸಿ: GitHub ಮಾದರಿಗಳು 2026ರ ಜುಲೈ ಅಂತ್ಯದಲ್ಲಿ ನಿವೃತ್ತಿಯಾಗುತ್ತವೆ. Microsoft Foundry ಮಾದರಿಗಳು ನೇರ ಬದಲಾವಣೆಯಾಗಿದೆ.

Microsoft Foundry ಮಾದರಿಗಳು ಇದು ನೇರ ಮಾರ್ಗವಾಗಿದೆ. Foundry ಮಾದರಿ ಕ್ಯಾಟಲಾಗ್ ಮೂಲಕ ನೀವು Phi-3/3.5-ಅನುಷ್ಠಾನ ಮಾದರಿಯನ್ನು ವೇಗವಾಗಿ ಪ್ರವೇಶಿಸಬಹುದು. Azure AI ಇನ್ಫರೆನ್ಸ್ SDK / OpenAI SDK ಜೊತೆಗೆ ಸಂಯೋಜನೆಯಿಂದ, ನೀವು ಕೋಡ್ ಮೂಲಕ APIಗೆ ಪ್ರವೇಶಿಸಿ Phi-3/3.5-ಅನುಷ್ಠಾನ ಆಮಂತ್ರಣವನ್ನು ಪೂರ್ಣಗೊಳಿಸಬಹುದು. ನಿಮ್ಮ ಗಮನಾರ್ಹ ಫಲಿತಾಂಶಗಳನ್ನು Playground ಮೂಲಕ ಪರೀಕ್ಷಿಸಬಹುದು.

  • ಡೆಮೋ: ಚೀನಾ ಸಂದರ್ಭಗಳಲ್ಲಿ Phi-3-mini ಮತ್ತು Phi-3.5-mini ಪರಿಣಾಮಗಳ ಹೋಲಿಕೆ

phi3

phi35

Microsoft Foundry

ಅಥವಾ ನೀವು ದೃಷ್ಟಿ ಮತ್ತು MoE ಮಾದರಿಗಳನ್ನು ಉಪಯೋಗಿಸಲು ಬಯಸಿದರೆ, Microsoft Foundry ಮೂಲಕ ಆಮಂತ್ರಣವನ್ನು ಪೂರ್ಣಗೊಳಿಸಬಹುದು. ಆಸಕ್ತಿ ಇದ್ದರೆ, Microsoft Foundry ಮೂಲಕ Phi-3/3.5 ಸೂಚನೆ, ದೃಷ್ಟಿ, MoE ಆಮಂತ್ರಣ ಹೇಗೆ ಮಾಡುವುದು ಎಂಬುದರ ಕುರಿತು Phi-3 ಕುಕ್ ಬುಕ್ ಓದಿ ಕಲಿಯಬಹುದು ಈ ಲಿಂಕ್ ಕ್ಲಿಕ್ ಮಾಡಿ

NVIDIA NIM

ಕ್ಲೌಡ್ ಆಧಾರಿತ Microsoft Foundry ಮಾದರಿ ಕ್ಯಾಟಲಾಗ್ ಗೆ ಹೊರಗಿನದು, ನೀವು NVIDIA NIM ಉಪಯೋಗಿಸಿ ಸಂಬಂಧಿತ ಆಮಂತ್ರಣಗಳನ್ನು ಪೂರ್ಣಗೊಳಿಸಬಹುದು. NVIDIA NIM (NVIDIA ಇನ್ಫರೆನ್ಸ್ ಮೈಕ್ರೋಸರ್ವಿಸಗಳು) ವಿಸ್ತೃತ ಪರಿಸರಗಳಲ್ಲಿ, ಕ್ಲೌಡ್‌ಗಳು, ಡೇಟಾ ಕೇಂದ್ರಗಳು ಮತ್ತು ವರ್ಕ್ ಸ್ಟೇಶನ್‌ಗಳಲ್ಲಿ AI ಮಾದರಿಗಳನ್ನು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ನಿಯೋಜಿಸಲು ಸಹಾಯ ಮಾಡುವ ವೇಗವರ್ಧಿತ ಇನ್ಫರೆನ್ಸ್ ಮೈಕ್ರೋಸರ್ವಿಸ್‌ಗಳ ಸಮೂಹವಾಗಿದೆ.

ಕೆಲವು ಪ್ರಮುಖ ವೈಶಿಷ್ಟ್ಯಗಳು NVIDIA NIM ನಲ್ಲಿ:

  • ನಿಯೋಜನ ಸುಲಭತೆ: NIM ಒಂದು ಆದೇಶದಿಂದ AI ಐ ಮಾದರಿಗಳನ್ನು ನಿಯೋಜನ ಮಾಡಲು ಅನುಮತಿಸುತ್ತದೆ, ಇದರಿಂದ ಇಲ್ಲಿರುವ ಕಾರ್ಯಪ್ರವಾಹಗಳಿಗೆ ಸುಲಭವಾಗಿ ಒಗ್ಗೂಡಿಸಿಕೊಳ್ಳಬಹುದು.

  • ಅಪ್ಟಿಮೈಜ್ಡ್ ಪ್ರದರ್ಶನ: ಇದು TensorRT ಮತ್ತು TensorRT-LLM ಮುಂತಾದ NVIDIA ಯ ಮುಂಚಿತವಾಗಿ ಅಪ್ಟಿಮೈಜ್ ಮಾಡಲಾದ ಇನ್ಫರೆನ್ಸ್ ಎಂಜಿನ್‌ಗಳನ್ನು ಉಪಯೋಗಿಸಿ ಕಮ್ಮಿ ವಿಳಂಬ ಮತ್ತು ಹೆಚ್ಚಿನ ಥ್ರೂಪುಟ್ ಅನ್ನು ಖಚಿತಪಡಿಸುತ್ತದೆ.

  • ಸ್ಕೇಲಬಿಲಿಟಿ: NIM ನು Kubernetes ಮೇಲೆ ಆಟೋಸ್ಕೇಲಿಂಗ್ ಅನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ, ಇದು ಬದಲಾಗುತ್ತಿರುವ ಕೆಲಸಭಾರಗಳನ್ನು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ನಿರ್ವಹಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ.

  • ಸುರಕ್ಷತೆ ಮತ್ತು ನಿಯಂತ್ರಣ: ಸಂಸ್ಥೆಗಳು ತಮ್ಮ ಡೇಟಾ ಮತ್ತು ಅಪ್ಲಿಕೇಶನ್‌ಗಳ ಮೇಲೆ ನಿಯಂತ್ರಣವನ್ನು ಹೊಂದಲು ತಮ್ಮ ಸ್ವಂತ ನಿರ್ವಹಿಸಲಾದ ಮೂಲಸೌಕರ್ಯದ ಮೇಲೆ NIM ಮೈಕ್ರೋಸರ್ವಿಸಸ್ ಅನ್ನು ಸ್ವಯಂ-ಹೋಸ್ಟ್ ಮಾಡಬಹುದು.

  • ಪ್ರಮಾಣಿತ APIಗಳು: NIM ಉದ್ಯಮ-ಪ್ರಮಾಣಿತ APIಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ, ಇದರಿಂದ ಚಾಟ್‌ಬಾಟ್‌ಗಳು, AI ಸಹಾಯಕರೆಗಳು ಮತ್ತು ಮತ್ತಿತರ AI ಅಪ್ಲಿಕೇಶನ್‌ಗಳನ್ನು ನಿರ್ಮಿಸಲು ಮತ್ತು ಸಂಯೋಜಿಸಲು ಸುಲಭವೇ.

NIM NVIDIA AI ಎಂಟರ್ಪ್ರೈಸ್‌ನ ಭಾಗವಾಗಿದ್ದು, ಇದು AI ಮಾದರಿಗಳ ನಿಯೋಜನೆ ಮತ್ತು ಕಾರ್ಯಾಚರಣೆಯನ್ನು ಸರಳಗೊಳಿಸುವುದನ್ನು ಗುರಿಯಾಗಿಸಿಕೊಂಡಿದ್ದು, ಅವುಗಳನ್ನು NVIDIA GPU ಗಳ ಮೇಲೆ ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಚಾಲನೆ ಮಾಡಲು ಭರವಸೆ ನೀಡುತ್ತದೆ.

Phi-3/3.5 ಅನ್ನು ಸ್ಥಳೀಯವಾಗಿ ಚಾಲನೆ ಮಾಡುವುದು

Phi-3 ಅಥವಾ GPT-3 ಮುಂತಾದ ಯಾವುದೇ ಭಾಷಾ ಮಾದರಿಯ ಇನ್ಫರೆನ್ಸ್ ಎಂದರೆ ಆಗಮಿಸುವ ಇನ್ಪುಟ್ ಆಧಾರಿತವಾಗಿ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಅಥವಾ ಭವಿಷ್ಯವಾಣಿಗಳನ್ನು ಸೃಷ್ಟಿಸುವ ಪ್ರಕ್ರಿಯೆ. ನೀವು Phi-3 ಗೆ ಪ್ರಾಂಪ್ಟ್ ಅಥವಾ ಪ್ರಶ್ನೆಯನ್ನು ನೀಡುವಾಗ, ಇದು ತರಬೇತಿ ಪಡೆದ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು ತರಬೇತಿ ಪಡೆದ ಡೇಟಾದಲ್ಲಿನ ನಿಯಮಗಳು ಮತ್ತು ಸಂಬಂಧಗಳನ್ನು ವಿಶ್ಲೇಷಿಸಿ ಸಾಧ್ಯವಿರುವ ಅತ್ಯಂತ ತಕ್ಕ ಮತ್ತು ಪ್ರಾಸಂಗಿಕ ಉತ್ತರವನ್ನು ಊಹಿಸುತ್ತದೆ.

Hugging Face Transformer Hugging Face Transformers ಎನ್‌ಎಲ್‌ಪಿ (ನೈಸರ್ಗಿಕ ಭಾಷಾ ಪ್ರಕ್ರಿಯೆ) ಮತ್ತು ಇತರ ಯಂತ್ರಭಾಷಾ ಕಲಿಕೆ ಕಾರ್ಯಗಳಿಗೆ ವಿನ್ಯಾಸಗೊಳಿಸಲಾದ ಶಕ್ತಿಶಾಲಿ ಗ್ರಂಥಾಲಯವಾಗಿದೆ. ಇದರ ಮುಖ್ಯ ಅಂಶಗಳು ಇವು:

  1. ಮುಂಚಿತ-ತರಬೇತಿ ಹೊಂದಿರುವ ಮಾದರಿಗಳು: ಇದು ಪಠ್ಯ ವರ್ಗೀಕರಣ, ಹೆಸರಿಸಲಾದ ಘಟಕ ಗುರುತಿಸುವಿಕೆ, ಪ್ರಶ್ನೆ ಉತ್ತರ, ಸಂಕ್ಷಿಪ್ತೀಕರಣ, ಅನುವಾದ ಮತ್ತು ಪಠ್ಯ ಸೃಷ್ಟಿ ಮುಂತಾದ ವಿವಿಧ ಕಾರ್ಯಗಳಿಗೆ ಸಹಾಯ ಮಾಡುವ ಸಾವಿರಾರು ಮುಂಚಿತ-ತರಬೇತಿ ಹೊಂದಿರುವ ಮಾದರಿಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ.

  2. ಫ್ರೇಮ್ವರ್ಕ್ ಹೊಂದಾಣಿಕೆ: ಈ ಗ್ರಂಥಾಲಯವು PyTorch, TensorFlow, ಮತ್ತು JAX ಮುಂತಾದ ಬೃಹತ್ ಯಂತ್ರ ಕಲಿಕೆ ಫ್ರೇಮ್ವರ್ಕ್‌ಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ. ಇದರಿಂದ ನೀವು ಒಂದು ಫ್ರೇಮ್ವರ್ಕ್‌ನಲ್ಲಿ ಮಾದರಿಯನ್ನು ತರಬೇತಿಮಾಡಿ ಮತ್ತೊಂದರಲ್ಲಿ ಬಳಸಬಹುದು.

  3. ಬಹುಮಾಧ್ಯಮ ಸಾಮರ್ಥ್ಯಗಳು: NLP ಹೊರತುಪಡಿಸಿ, Hugging Face Transformers ಕಂಪ್ಯೂಟರ್ ದೃಷ್ಟಿ (ಉದಾ., ಚಿತ್ರ ವರ್ಗೀಕರಣ, ವಸ್ತು ಪತ್ತೆ) ಮತ್ತು ಧ್ವನಿ ಪ್ರಕ್ರಿಯೆ (ಉದಾ., ಭಾಷಣ ಗುರುತಿಸುವಿಕೆ, ಧ್ವನಿ ವರ್ಗೀಕರಣ) ಕಾರ್ಯಗಳನ್ನು ಸಹ ಬೆಂಬಲಿಸುತ್ತದೆ.

  4. ಬಳಕೆ ಸುಲಭತೆ: ಈ ಗ್ರಂಥಾಲಯವು API ಕಳುಹಿಸಿ ಮತ್ತು ಮಾದರಿಗಳನ್ನು ಸುಲಭವಾಗಿ ಡೌನ್ಲೋಡ್ ಮಾಡಿ ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡುವ ಉಪಕರಣಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ, ಇದರಿಂದ ಪ್ರಾರಂಭಿಕರು ಮತ್ತು ತಜ್ಞರು ಇಬ್ಬರೂ ಇದನ್ನು ಉಪಯೋಗಿಸಬಹುದು.

  5. ಸಮುದಾಯ ಮತ್ತು ಸಂಪನ್ಮೂಲಗಳು: Hugging Face ನ ಸಮುದಾಯ ಅತ್ಯಂತ ಜಾಗೃತವಾಗಿದೆ ಮತ್ತು ವಾಸ್ತವಿಕ ಮಾಹಿತಿಗಳು, ಪಾಠಗಳು ಮತ್ತು ಮಾರ್ಗಸೂಚಿಗಳು ಬಳಕೆದಾರರಿಗೆ ಆರಂಭಿಸಲು ಮತ್ತು ಗ್ರಂಥಾಲಯವನ್ನು ಯಥಾಸಾಧ್ಯವಾಗಿ ಉಪಯೋಗಿಸಲು ಸಹಾಯಮಾಡುತ್ತವೆ. ಅಧಿಕೃತ ದಸ್ತಾವೇಜುಗಳು ಅಥವಾ ಅವರ GitHub ಸಂಗ್ರಹಾಲಯ.

ಇದು ಹೆಚ್ಚಾಗಿ ಉಪಯೋಗಿಸಲಾದ ವಿಧಾನವಾಗಿದ್ದು, GPU ವೇಗವರ್ಧನೆ ಅಗತ್ಯವಿದೆ. ದೃಷ್ಟಿ ಮತ್ತು MoE ಮಾದರಿಗಳು ಹೆಚ್ಚಿನ ಸಂಖ್ಯೆಯ ಲೆಕ್ಕಾಚಾರಗಳನ್ನು ಬೇಕಾಗಿಸುವುದರಿಂದ ಇವು ಗಳನ್ನು ಕ್ವಾಂಟೈಸ್ ಮಾಡದಿದ್ದರೆ CPU ಮೇಲೆ ತುಂಬಾ ನಿಧಾನವಾಗುತ್ತದೆ.

ಒಲ್ಲಾಮಾ (Ollama) Ollama ನಿಮ್ಮ ಯಂತ್ರದಲ್ಲಿ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು (LLM ಗಳು) ಸ್ಥಳೀಯವಾಗಿ ಸುಲಭವಾಗಿ ಚಲಾಯಿಸಲು ವಿನ್ಯಾಸಗೊಳಿಸಿದ ವೇದಿಕೆ. ಇದು Llama 3.1, Phi 3, Mistral, ಮತ್ತು Gemma 2 ಮುಂತಾದ ವಿವಿಧ ಮಾದರಿಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ. ವೇದಿಕೆ ಮಾದರಿಗಳ ತೂಕ, ಸಂರಚನೆ ಮತ್ತು ಡೇಟಾವನ್ನು ಒಂದೇ ಪ್ಯಾಕೇಜ್‌ಗಳಾಗಿ ಸಂಯೋಜಿಸುವ ಮೂಲಕ ಬಳಕೆದಾರರಿಗೆ ತಮ್ಮದೇ ಆದ ಮಾದರಿಗಳನ್ನು ಕಸ್ಟಮೈಜ್ ಮಾಡಿಕೊಳ್ಳಲು ಮತ್ತು ರಚಿಸಲು ಲಭ್ಯವಾಗುವಂತೆ ಮಾಡುತ್ತದೆ. Ollama macOS, Linux, ಮತ್ತು Windows ಗಳಿಗೆ ಲಭ್ಯವಿದೆ. ನೀವು ಕ್ಲೌಡ್ ಸೇವೆಗಳ ಮೇಲೆ ನಿರ್ವರಿಸದೆ LLMಗಳನ್ನು ಪ್ರಯೋಗಿಸಲು ಅಥವಾ ನಿಯೋಜಿಸಲು ಬಯಸಿದರೆ ಇದು ಅದ್ಭುತ ಸಾಧನವಿದೆ. Ollama ನು ನೇರ ಮಾರ್ಗವಾಗಿದೆ; ನೀವು ಕೆಳಗಿನ ಆಜ್ಞೆಯನ್ನು ನಿರ್ವಹಿಸುವುದೇ ಸಾಕು.

ollama run phi3.5

ಫೌಂಡ್ರಿ ಸ್ಥಳೀಯ (Foundry Local)

Foundry Local Microsoft ನ ಆಫ್‌ಲೈನ್, ಉಪಕರಣ-ನಿರ್ವಹಿಸುವruntime ಆಗಿದ್ದು, Phi ಮುಂತಾದ ಮಾದರಿಗಳನ್ನು ನಿಮ್ಮದೇ ಹಾರ್ಡ್‌ವೇರ್‌ನಲ್ಲಿ ಸಂಪೂರ್ಣವಾಗಿ ಚಾಲನೆ ಮಾಡುತೆ - ಯಾವುದೇ Azure ಚಂದಾದಾರಿಕೆ, API ಕೀ ಅಥವಾ ನೆಟ್ವರ್ಕ್ ಸಂಪರ್ಕ ಅಗತ್ಯವಿಲ್ಲ. ಇದು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಲಭ್ಯವಿರುವ ಅತ್ಯುತ್ತಮ ಕಾರ್ಯಗತಗೊಳಿಸುವ ಪ್ರೊವೈಡರ್ (NPU, GPU ಅಥವಾ CPU) ಅನ್ನು ಆರಿಸಿಕೊಂಡು, OpenAI-ಅನುಕೂಲಿತ ಎಂಡ್‌ಪಾಯಿಂಟ್ ಅನ್ನು ಬಿಡುಗಡೆ ಮಾಡುತ್ತದೆ, ಇದರಿಂದ openai/Azure AI Inference SDK ನಿರ್ದಿಷ್ಟ ಕೋಡ್ ವೈಭವಪುರ್ವಕವಾಗಿ ಬಳಕೆ ಮಾಡಬಹುದು. ಪ್ರಾರಂಭಿಸಲು Foundry Local ದಸ್ತಾವೇಜು ನೋಡಿ.

winget install Microsoft.FoundryLocal
foundry model run phi-3.5-mini

ಅಥವಾ ಪೈಥಾನ್‌ನಲ್ಲಿ ನೇರ SDK ಬಳಸಿ:

pip install foundry-local-sdk

from foundry_local import FoundryLocalManager

manager = FoundryLocalManager("phi-3.5-mini")
print(manager.endpoint, manager.api_key)

GenAIಗಾಗಿ ONNX ರನ್‌ಟೈಮ್

ONNX Runtime ಒಂದು ಕ್ರಾಸ್-ಪ್ಲಾಟ್‌ಫಾರ್ಮ್ ಇನ್ಫರೆನ್ಸ್ ಮತ್ತು ಯಂತ್ರ ಕಲಿಕೆ ತರಬೇತಿ ವೇಗವರ್ಧಕ. Generative AI (GENAI)ಗಾಗಿ ONNX Runtime ಒಂದು ಶಕ್ತಿಶಾಲಿ ಸಾಧನವಾಗಿದೆ, ಇದು ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ಗಳ ವಿವಿಧತೆಯಲ್ಲಿ ಜನರೇಟಿವ್ AI ಮಾದರಿಗಳನ್ನು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ನಡೆಸಲು ಸಹಾಯಮಾಡುತ್ತದೆ.

ONNX ರನ್‌ಟೈಮ್ ಎಂದರೆ ಏನು?

ONNX Runtime ಒಂದು ಓಪನ್-ಸೋರ್ಸ್ ಪ್ರಾಜೆಕ್ಟ್ ಆಗಿದ್ದು, ಯಂತ್ರ ಕಲಿಕೆ ಮಾದರಿಗಳ ಹೆಚ್ಚಿನ ಕಾರ್ಯದಕ್ಷತೆದ ಇನ್ಫರೆನ್ಸ್ ಅನ್ನು ಸಾದ್ಯಮಾಡುತ್ತದೆ. ಇದು Open Neural Network Exchange (ONNX) ಫಾರ್ಮ್ಯಾಟ್‌ನಲ್ಲಿನ ಮಾದರಿಗಳಿಗೆ ಬೆಂಬಲ ನೀಡುತ್ತದೆ, ಇದು ಯಂತ್ರ ಕಲಿಕೆ ಮಾದರಿಗಳನ್ನು ಪ್ರತಿನಿಧಿಸಲು ಒಂದು ಪ್ರಮಾಣಿತ ಪ್ರಕಾರವಾಗಿದೆ. ONNX Runtime ಇನ್ಫರೆನ್ಸ್ ಗ್ರಾಹಕ ಅನುಭವಗಳನ್ನು ವೇಗಗೊಳಿಸಬಹುದು ಮತ್ತು ವೆಚ್ಚವನ್ನು ಕಡಿಮೆ ಮಾಡಬಹುದು. ಇದು PyTorch ಮತ್ತು TensorFlow/Keras ಮುಂತಾದ ದೀಪ ಕಲಿಕೆ ಫ್ರೇಮ್ವರ್ಕ್‌ಗಳ ಮಾದರಿಗಳು ಜೊತೆಗೆ scikit-learn, LightGBM, XGBoost ಮುಂತಾದ ಕ್ಲಾಸಿಕಲ್ ಯಂತ್ರ ಕಲಿಕಾ ಗ್ರಂಥಾಲಯಗಳನ್ನು ಸಹ ಬೆಂಬಲಿಸುತ್ತದೆ. ONNX Runtime ವಿವಿಧ ಹಾರ್ಡ್‌ವೇರ್, ಡ್ರೈವರ್‌ಗಳು ಮತ್ತು ಕಾರ್ಯಾಚರಣೆ ವ್ಯವಸ್ಥೆಗಳೊಂದಿಗೆ ಹೊಂದಾಣಿಕೆ ಹೊಂದಿದ್ದು, ಹಾರ್ಡ್‌ವೇರ್ ವೇಗವರ್ಧಕಗಳನ್ನು, ಗ್ರಾಫ್ ಉತ್ಕೃಷ್ಟಗೊಳಿಸುವಿಕೆಗಳು ಮತ್ತು ಪರಿವರ್ತನೆಗಳನ್ನು ಉಪಯೋಗಿಸಿ ಉತ್ತಮ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಒದಗಿಸುತ್ತದೆ.

ಜನರೇಟಿವ್ AI ಎಂದರೆ ಏನು?

ಜನರೇಟಿವ್ AI ಎಂದರೆ ತರಬೇತಿ ಪಡೆದ ಡೇಟಾದ ಆಧಾರದ ಮೇಲೆ ಹೊಸ ವಿಷಯವನ್ನು, ಉದಾಹರಣೆಗೆ ಪಠ್ಯ, ಚಿತ್ರಗಳು ಅಥವಾ ಸಂಗೀತವನ್ನು ಸೃಷ್ಟಿಸುವ AI ವ್ಯವಸ್ಥೆಗಳು. ಉದಾಹರಣೆಗಳಿಗೆ GPT-3 ನಂತಹ ಭಾಷಾ ಮಾದರಿಗಳು ಮತ್ತು Stable Diffusion ನಂತಹ ಚಿತ್ರ ಸೃಷ್ಟಿಸುವ ಮಾದರಿಗಳು ಸೇರಿವೆ. ONNX Runtime for GenAI ಗ್ರಂಥಾಲಯವು ONNX ಮಾದರಿಗಳಿಗಾಗಿ ಜನರೇಟಿವ್ AI ಲೂಪ್ ಅನ್ನು ಒದಗಿಸುತ್ತದೆ, ಇದರಲ್ಲಿ ONNX Runtime ಮೂಲಕ ಇನ್ಫರೆನ್ಸ್, ಲೊಗಿಟ್ ಪ್ರೊಸೆಸಿಂಗ್, ಹುಡುಕಾಟ ಮತ್ತು ಮಾದರಿಯನ್ನು ಆಯ್ಕೆ ಮಾಡುವ ವಿಧಾನಗಳು ಮತ್ತು KV ಕ್ಯಾಶ್ ನಿರ್ವಹಣೆ ಸೇರಿವೆ.

ONNX Runtime for GENAI

ONNX Runtime for GENAI ONNX Runtime ನ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ವಿಸ್ತರಿಸಿ ಜನರೇಟಿವ್ AI ಮಾದರಿಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ. ಪ್ರಮುಖ ಲಕ್ಷಣಗಳು ಕೆಳಗಿನಂತಿವೆ:

  • ವಿಸ್ತೃತ ವೇದಿಕೆ ಬೆಂಬಲ: ಇದು Windows, Linux, macOS, Android ಮತ್ತು iOS ಮುಂತಾದ ವಿವಿಧ ವೇದಿಕೆಗಳಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ.
  • ಮಾದರಿ ಬೆಂಬಲ: LLaMA, GPT-Neo, BLOOM ಮತ್ತು ಇತ್ಯಾದಿ ಜನಪ್ರಿಯ ಜನರೇಟಿವ್ AI ಮಾದರಿಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ.
  • ಪ್ರದರ್ಶನ ಹೆಚ್ಚುವರಿ: NVIDIA GPU ಗಳು, AMD GPU ಗಳು ಮತ್ತು ಇನ್ನಷ್ಟು ಹಾರ್ಡ್‌ವೇರ್ ವೇಗವರ್ಧಕಗಳಿಗಾಗಿ ಅಪ್ಟಿಮೈಜೇಶನ್‌ಗಳನ್ನು ಒಳಗೊಂಡಿದೆ.
  • ಬಳಕೆ ಸುಲಭತೆ: API ಗಳು ಅನ್ವಯಿಕೆಗಳಿಗೆ ಸುಲಭವಾಗಿ ಸಂಯೋಜಿಸಲು ಒದಗಿಸುತ್ತವೆ, ಕಡಿಮೆ ಕೋಡ್‌ನಿಂದ ಪಠ್ಯ, ಚಿತ್ರಗಳು ಮತ್ತು ಇತರ ವಿಷಯಗಳನ್ನು ರಚಿಸಲು ಅವಕಾಶ ನೀಡುತ್ತದೆ.
  • ಬಳಕೆದಾರರು ಉನ್ನತ ಮಟ್ಟದ generate() ವಿಧಾನವನ್ನು ಕರೆಸಬಹುದು, ಅಥವಾ ಮಾದರಿಯನ್ನು ಒಂದು ಟೋಕನ್ ಅನ್ನು ಪ್ರತಿ ಬಾರಿ ಲೂಪ್‌ನಲ್ಲಿ ಚಲಾಯಿಸಿ, ಆ ಲೂಪ್‌ನಲ್ಲಿ ಜನರೇಷನ್ ನಿಯಮಗಳನ್ನು ಅಪ್‌ಡೇಟ್ ಮಾಡಬಹುದು.
  • ONNX ರನ್‌ಟೈಮ್‌ಗೆ ಕ್ರೂರ/ಬೀಮ್ ಶೋಧನೆ ಮತ್ತು TopP, TopK ಸ್ಯಾಂಪ್ಲಿಂಗ್ ಮೂಲಕ ಟೋಕನ್ ಅನುಕ್ರಮಗಳನ್ನು ಸೃಷ್ಟಿಸಲು ಮತ್ತು ಪುನರಾವೃತ್ತಿ ದಂಡನೆಗಳು ಹಾಗು ಲೊಗಿಟ್ಸ್ ಪ್ರೊಸೆಸಿಂಗ್‌ಗೆ ಬೆಂಬಲವಿದೆ. ನೀವು ಕಸ್ಟಮ್ ಸ್ಕೋರೀಂಗ್ ಅನ್ನು ಸಹ ಸುಲಭವಾಗಿ ಸೇರಿಸಬಹುದು.

ಪ್ರಾರಂಭಿಸುವುದು

ONNX Runtime for GENAI ని ಪ್ರಾರಂಭಿಸಲು ನೀವು ಈ ಹಾದಿಗಳನ್ನು ಅನುಸರಿಸಬಹುದು:

ONNX Runtime ಅನ್ನು ಸ್ಥಾಪಿಸಿ:

pip install onnxruntime

ಜನರೇಟಿವ್ AI ವಿಸ್ತರಣೆಗಳನ್ನು ಸ್ಥಾಪಿಸಿ:

pip install onnxruntime-genai

ಮಾದರಿಯನ್ನು ಚಾಲನೆ ಮಾಡಿ: ಸರಳ ಉದಾಹರಣೆ ಪೈಥಾನ್‌ನಲ್ಲಿ ಇಲ್ಲಿದೆ:

import onnxruntime_genai as og

model = og.Model('path_to_your_model.onnx')

tokenizer = og.Tokenizer(model)

input_text = "Hello, how are you?"

input_tokens = tokenizer.encode(input_text)

output_tokens = model.generate(input_tokens)

output_text = tokenizer.decode(output_tokens)

print(output_text)

ಡೆಮೊ: ONNX Runtime GenAI ಉಪಯೋಗಿಸಿ Phi-3.5-Vision ಅನ್ನು ಕರೆಯುವುದು

import onnxruntime_genai as og

model_path = './Your Phi-3.5-vision-instruct ONNX Path'

img_path = './Your Image Path'

model = og.Model(model_path)

processor = model.create_multimodal_processor()

tokenizer_stream = processor.create_stream()

text = "Your Prompt"

prompt = "<|user|>\n"

prompt += "<|image_1|>\n"

prompt += f"{text}<|end|>\n"

prompt += "<|assistant|>\n"

image = og.Images.open(img_path)

inputs = processor(prompt, images=image)

params = og.GeneratorParams(model)

params.set_inputs(inputs)

params.set_search_options(max_length=3072)

generator = og.Generator(model, params)

while not generator.is_done():

    generator.compute_logits()
    
    generator.generate_next_token()

    new_token = generator.get_next_tokens()[0]
    
    output = tokenizer_stream.decode(new_token)
    
    print(tokenizer_stream.decode(new_token), end='', flush=True)

ಇತರವುಗಳು

ONNX Runtime, Ollama, ಮತ್ತು Foundry Local ಉದಾಹರಣೆ ವಿಧಾನಗಳ ಜೊತೆಗೆ, ಮಾದಡಿ ಉತ್ಸವಕರ್ತರಿಂದ ಒದಗಿಸಲಾದ ಮಾದರಿ ಉದಾಹರಣಾ ವಿಧಾನಗಳ ಆಧಾರದ ಮೇಲೆ ಪ್ರಮಾಣಮಾಪನ ಮಾದರಿಗಳ ಉಲ್ಲೇಖವನ್ನು ಪೂರ್ಣಗೊಳಿಸಬಹುದು. ಉದಾಹರಣೆಗೆ Apple MLX ಫ್ರೇಮ್ವರ್ಕ್ Apple Metal ಜೊತೆ, Qualcomm QNN NPU ಜೊತೆಗೆ, Intel OpenVINO CPU/GPU ಜೊತೆಗೆ ಇತ್ಯಾದಿ. ನೀವು ಇನ್ನಷ್ಟು ವಿಷಯಗಳನ್ನು Phi-3 Cookbook ನಿಂದ ಪಡೆದುಕೊಳ್ಳಬಹುದು.

ಇನ್ನಷ್ಟು

ನಾವು Phi-3/3.5 ಕುಟುಂಬದ ಮೂಲಭೂತ ವಿಚಾರಗಳನ್ನು ಕಲಿತಿದ್ದೇವೆ, ಆದರೆ SLM ಬಗ್ಗೆ ಇನ್ನಷ್ಟು ತಿಳಿದುಕೊಳ್ಳಲು ಹೆಚ್ಚಿನ ಜ್ಞಾನ ಬೇಕಾಗಿದೆ. ಉತ್ತರಗಳನ್ನು ನೀವು Phi-3 Cookbook ನಲ್ಲಿ ಕಂಡುಹಿಡಿಯಬಹುದು. ನೀವು ಇನ್ನಷ್ಟು ತಿಳಿಯಲು ಬಯಸಿದರೆ, ದಯವಿಟ್ಟು Phi-3 Cookbook ಗೆ ಭೇಟಿ ನೀಡಿ.

ಅಸ್ವೀಕಾರ: ಈ ದಸ್ತಾವೇಜು AI ಅನುವಾದ ಸೇವೆ Co-op Translator ಬಳಸಿ ಅನುವಾದಿಸಲಾಗಿದೆ. ನಾವು ನಿಖರತೆಯನ್ನು ಸಾಧಿಸಲು ಪ್ರಯತ್ನಿಸುತ್ತಿದ್ದರೂ, ದಯವಿಟ್ಟು ಗಮನಿಸಿ, ಸ್ವಯಂಚಾಲಿತ ಅನುವಾದಗಳಲ್ಲಿ ದೋಷಗಳು ಅಥವಾ ಅಸಡ್ಡೆಗಳು ಇರಬಹುದು. ಮೂಲ ಭಾಷೆಯಲ್ಲಿರುವ ಮೂಲ ದಸ್ತಾವೇಜು ಪ್ರಾಮಾಣಿಕ ಮೂಲವೆಂದು ಪರಿಗಣಿಸಬೇಕು. ಪ್ರಮುಖ ಮಾಹಿತಿಗಾಗಿ, ವೃತ್ತಿಪರ ಮಾನವ ಅನುವಾದವನ್ನು ಶಿಫಾರಸು ಮಾಡಲಾಗುತ್ತದೆ. ಈ ಅನುವಾದವನ್ನು ಬಳಸುವ ಮೂಲಕ ಉಂಟಾಗುವ ಯಾವುದೇ ತಪ್ಪು ಅರ್ಥಗಳ ಅಥವಾ ತಪ್ಪು ವ್ಯಾಖ್ಯಾನಗಳ ಬಗ್ಗೆ ನಾವು ಹೊಣೆಗಾರರಲ್ಲ.