אחת הבעיות המוכרות והכואבות ביותר בהפעלה של LLM's בסביבות פרודקשן היא בעיית ההתנעה הקרה, המוכרת גם כ-Cold Start, כלומר, הזמן שלוקח למודל להיטען לפני שהוא בכלל מסוגל לעבד ולשרת את הבקשה הראשונה של המשתמש, מה שיוצר צוואר בקבוק משמעותי. בזמן ההמתנה הזה, מעבדי GPU חזקים ויקרים עומדים בפועל בלי שימוש. התופעה הזו מתרחשת בעיקר כשיש […] The post סטארטאפ ישראלי בן 8 חודשים נמכר עכשיו ב-150 מיליון דולר appeared first on גיקטיים .
סטארטאפ ישראלי בן 8 חודשים נמכר עכשיו ב-150 מיליון דולר
