SubQ משחררת מודל AI ראשון שאינו טרנספורמר עם 12 מיליון טוקנים

הנתונים המרכזיים מאחורי הכתבה

הקפיצה הטכנית של SubQ מדהימה לא רק בגלל גודל חלון ההקשר אלא בגלל מה שזה אומר על העלות והמהירות. אלה המספרים שמעניינים את הענף:

למה זו לא עוד השקת מודל?

מאז שמודל ה-Transformer (GPT, Claude, Gemini, Llama – כולם) נחשף ב-2017, הוא דומיננטי. כל מודל גדול שמדברים עליו מבוסס על אותה ארכיטקטורה במהותה, עם שיפורים שולים. הבעיה: ה-Transformer יקר באופן ריבועי. אם מכפילים את אורך ההקשר, מכפילים בערך פי 4 את ההוצאה הקומפיוטיציונית.

SubQ מציעה ארכיטקטורה subquadratic – תת-ריבועית. במילים פשוטות: מכפילים את ההקשר, ההוצאה גדלה הרבה פחות מפי 4. זה לא רק שיפור – זה שינוי ארכיטקטוני יסודי. וזה מסביר איך הם מצליחים להציע חלון של 12 מיליון טוקנים כשהמתחרים נמצאים ב-1-2 מיליון.

מה אפשר לעשות עם 12 מיליון טוקנים בהקשר?

כדי לקבל פרספקטיבה: 12 מיליון טוקנים שווי בערך ל-9 מיליון מילים. זה אומר שאפשר להזין למודל:

• ספריית מסמכי חברה שלמה – כל החוזים, ההסכמים, ה-FAQ, ה-SOPs. סוכן AI אחד שיודע הכל על העסק שלכם.
• קודבייס שלם של פרויקט תוכנה – לא רק קובץ אחד או שניים, אלא רפו של מאה אלף שורות. שאלות אדריכליות שעד היום דרשו חודש מחקר.
• היסטוריית שיחה של שנה – סוכן AI שזוכר את כל מה שדיברתם איתו, בלי לאבד הקשר.
• 20-30 ספרים מקצועיים – לבקש סיכום השוואתי, ניתוח טרנדים, מסקנות חוצות-מקורות.

אם אתם בונים אוטומציה לחימום לידים קרים או פיתוח CRM מותאם אישית, חלון הקשר רחב משנה את כללי המשחק. במקום RAG מורכב (Retrieval Augmented Generation) שמושך פיסות מידע לפי הצורך, אפשר פשוט "להטעין" את כל הידע מראש ולעבוד.

האם זה באמת איכותי כמו Claude או GPT?

כאן נכנסת ההסתייגות. SubQ אומרים שאיכות הפלט שלהם דומה ל-Claude 4.5 ול-GPT-5 לרוב המשימות. בנצ'מרקים שדווחו: 89% ב-MMLU, 73% ב-HumanEval לקוד, 81% במשימות יוקרא יומיומיות. נתונים טובים, אבל לא ברמת Claude Opus 4.7 או GPT-5.5 Thinking.

מצד שני, בכל הקשור למשימות שתלויות בחלון הקשר רחב – ניתוח מסמכים ארוכים, חיפוש מידע ב"מחסן הידע" של החברה, סיכומים השוואתיים – הם מובילים בפער. מודלי Transformer מאבדים מידע באמצע הקשר רחב; SubQ שומרים על דיוק לאורך כל ה-12M טוקנים, לפי בדיקות עצמאיות.

מי SubQ ומאיפה הם באו?

החברה הוקמה ב-2023 על ידי שני חוקרים שעזבו את DeepMind ו-Stanford AI Lab. שניהם פרסמו מאמרים על ארכיטקטורות אלטרנטיביות (State Space Models, RetNet, RWKV) במשך שנים, ולבסוף החליטו לבנות חברה שמסחרת את הרעיון.

הסיבוב הראשון שלהם (29 מיליון דולר) הוביל ע"י Andreessen Horowitz, עם השתתפות של Sequoia ושל מנכ"ל לשעבר של Anthropic. זה ליין-אפ מאוד מכובד למודל ראשון של חברה שלא כולם שמעו עליה לפני כן.

מה זה אומר על המודלים הקיימים?

בטווח הקצר – לא הרבה. Claude, GPT, Gemini, Llama ימשיכו להיות הברירה הטבעית של רוב המשתמשים. ל-SubQ אין אקוסיסטם של אפליקציות, אין ChatGPT, אין Gemini app. רק API.

בטווח הבינוני (12-24 חודשים) – מאוד הרבה. אם הארכיטקטורה הזו מצליחה להוכיח עצמה, נראה את כל הענקיות מעתיקות. Anthropic, OpenAI ו-Google חייבות להגיב, ובמיוחד אם SubQ מצליחים להציע חוויית שימוש בעלות נמוכה ב-60%. החזרי השקעה גבוהים יכולים להזיז שוק שלם.

מי שמשתמש היום ב-Claude Opus 4.7 צריך לעקוב אחר ההתפתחות הזו, כי תוך שנתיים סביר שיהיו לכל המודלים חלונות הקשר ענקיים – והשאלה תהיה מי ינצח באיכות וביציבות.

האם כדאי להתחיל לעבוד עם SubQ עכשיו?

תלוי במשימה. למשימות יומיומיות (כתיבה, סיכומים, קוד פשוט) – אין סיבה מיוחדת לעבור. Claude ו-GPT עדיין הטובים בשטח.

למשימות שדורשות הקשר רחב מאוד (ניתוח דוחות, חיפוש בארכיון מסמכים, סוכן שמכיר את כל החברה) – שווה לבדוק. ה-API שלהם זמין דרך Hugging Face ומחיר ההפעלה דומה ל-Claude Haiku, אבל עם פי 10 חלון הקשר.

אצלנו בעמוד האופטימיזציה ל-ChatGPT תמצאו את הגישה שאנחנו נוקטים בקידום במנועי AI. אם זה מעניין אתכם לבנות תהליך עסקי שמשלב את SubQ או דומיו, צרו קשר ונבדוק התאמה לעסק שלכם.

מה זה בכלל אומר: ארכיטקטורת Transformer בהסבר פשוט

כדי להבין למה ההכרזה של SubQ היא רעידת אדמה, צריך להבין מה זה Transformer ולמה הוא הפך לדומיננטי. בלי טכנולוגיה כבדה – בשפה פשוטה.

הבעיה שהעולם פתר ב-2017

לפני 2017, מודלי שפה היו טיפשים. הם קראו טקסט מילה במילה, לא הבינו הקשר רחב, ושכחו דברים מהירות. אז קבוצת חוקרים בגוגל פרסמה מאמר בשם "Attention Is All You Need" שהציג ארכיטקטורה חדשה: Transformer. הרעיון: במקום לקרוא מילה במילה, המודל "מסתכל" על כל המילים בו זמנית ומחליט אילו רלוונטיות יותר לפי מנגנון "תשומת לב".

זה עבד נפלא. GPT, BERT, Claude, Gemini – כולם מבוססים על אותו רעיון יסודי. הענף פרח. אבל מאז 2017 דבר אחד נשאר ללא פתרון: עלות החישוב גדלה ריבועית עם אורך הקלט. אם תקרא לעצמך טקסט פי 2 ארוך יותר, החישוב גדל פי 4. פי 10 ארוך יותר? פי 100 חישוב. זו הסיבה שחלון ההקשר של רוב המודלים נשאר 100K עד 2M טוקנים.

הפתרון של SubQ: לא Transformer בכלל

SubQ לקחה כיוון אחר לגמרי. במקום לשפר את ה-Transformer הקיים, היא בנתה ארכיטקטורה שמבוססת על State Space Models (SSM). בלי להיכנס לפרטים מתמטיים, הרעיון הוא לזכור את הטקסט הקודם בצורה דחוסה במקום לעבד את כולו בו זמנית. התוצאה: עלות החישוב גדלה ליניארית, לא ריבועית. פי 10 קלט = פי 10 חישוב, לא פי 100.

זה משחרר את הרסן. עכשיו אפשר לבנות מודלים עם חלון הקשר ענק (12M ויותר) בעלות סבירה. וזה פותח אפליקציות שעד היום היו בלתי אפשריות מבחינה כלכלית.

3 שינויים מעשיים בעולם העסקי במהלך השנה הקרובה

השקת SubQ היא לא רק "ניצחון טכנולוגי", היא הולכת לשנות איך עסקים בונים מערכות AI. הנה שלוש מגמות שצפויות להתפתח השנה.

השינוי השני הוא ביצירת סוכני AI אישיים. עד היום, כל סוכן היה צריך "להזכיר" למודל מה הוא יודע על המשתמש בכל שיחה. עכשיו המודל יכול לזכור את כל ההיסטוריה של השיחות עם המשתמש בלי לאבד הקשר. סוכנים אישיים שזוכרים אותך באמת, לא רק "מתחזים שזוכרים", הופכים לאפשריים בקנה מידה.

השינוי השלישי הוא בעולם הקוד. מפתחים יכולים עכשיו להזין את כל ה-codebase של פרויקט (גם מאות אלפי שורות) לסוכן AI ולקבל ניתוח, refactoring, או הצעות אדריכלות. עד היום, סוכני קוד הסתמכו על "התמקדות" בקבצים מסוימים. עם 12M טוקנים, אפשר לראות את התמונה השלמה.

מי כדאי שיתחיל לעקוב מקרוב?

• בעלי חברות שירות עם הרבה ידע פנימי (חברות יעוץ, משרדי עו"ד, חברות פיננסיות) – הם יכולים לבנות סוכן שיודע את כל ההסכמים, הנהלים והתיעוד שלהם.
• סטארטאפים שעובדים בענן ומשלמים מאות אלפי דולרים על אינפרנס – חיסכון של 60% במחיר ה-API הוא משמעותי.
• חברות אקדמיה ומחקר – הם יכולים להזין מאמרים שלמים, ספרים, ומקורות מחקריים בלי להתחלק לקטעים.