נמדד ב־21 בנובמבר 2026 על מבחן FLEURS המלא

השוואת דיוק של תמלול בעברית (Speech to Text)

על כל 792 הקליפים של מבחן FLEURS בעברית, שנמדד ב־21 בנובמבר 2026, היה ל־KolWrite Oracle Max שיעור שגיאות מילים של 12.6% (רווח בר־סמך 95%: 11.2% עד 14.1%), הנמוך ביותר מבין 22 המנועים בהשוואה; הנתון הנמוך הבא שפורסם הוא 17.4%. כל התמלולים מפורסמים, כך שאפשר לבדוק את הציון.

עודכן לאחרונה: · Markdown

שיעור שגיאות המילים של כל מנוע בהשוואה

12.6% שיעור שגיאות מילים, רווח בר־סמך 95%: 11.2% עד 14.1%KolWrite Oracle Max על כל 792 הקליפים של מבחן FLEURS בעברית, 21 בנובמבר 2026

ל־Oracle Max היו 1,734 שגיאות מילים (967 החלפות, 510 השמטות ו־257 תוספות) מתוך 13,751 מילות ייחוס ב־792 קליפים, 2.05 שעות דיבור. דגימה חוזרת של הקליפים 10,000 פעמים נותנת רווח בר־סמך של 95% בין 11.2% ל־14.1%. ב־309 מתוך 792 המשפטים לא הייתה אף שגיאה.

  1. KolWrite Oracle Max12.6%
  2. ivrit.ai whisper-large-v3-ct2-20250513 נתון שפורסם בלבד17.4%
  3. Soniox (stt)17.7%
  4. ElevenLabs Scribe v118.1%
  5. ivrit.ai whisper-large-v3-turbo-ct2-20250513 נתון שפורסם בלבד18.1%
  6. ivrit.ai whisper-large-v3-ct2-20250403 נתון שפורסם בלבד20.0%
  7. ivrit.ai whisper-large-v3-ct2-20250209 נתון שפורסם בלבד20.8%
  8. ivrit.ai whisper-large-v3-turbo-ct2-2025040320.9%
  9. OpenAI gpt-4o-transcribe21.1%
  10. Amazon Transcribe (batch)23.0%
  11. Deepgram Nova-323.4%
  12. zipformer2-66m-streaming-he23.4%
  13. ivrit.ai faster-whisper-v2-d424.2%
  14. ivrit.ai whisper-large-v3-turbo-ct2-20250209 נתון שפורסם בלבד24.5%
  15. ivrit.ai faster-whisper-v2-d3-e325.6%
  16. Whisper large-v3 (faster-whisper)26.2%
  17. Whisper large-v2 (faster-whisper)26.7%
  18. Amazon Transcribe (streaming)28.7%
  19. Whisper large-v3-turbo (faster-whisper)28.9%
  20. OpenAI gpt-4o-mini-transcribe30.1%
  21. Google Speech38.5%
  22. nemotron-3.5-asr-streaming-0.6b46.0%
שיעור שגיאות מילים, נמוך יותר הוא טוב יותר. הקו מתחת לעמודה הוא רווח בר־סמך של 95%, והוא מופיע אצל מנועים שלוח התוצאות מפרסם עבורם את התמלול של כל קליפ. חמש שורות הן הנתון שפורסם בלבד.

ל־16 מתוך 21 המנועים לוח התוצאות מפרסם את התמלול של כל קליפ, ועוד קובץ אחד של ריצת תזמון של מודל של ivrit.ai. דירגנו את 17 הקבצים האלה ואת הקובץ שלנו באותו קוד, ואז דגמנו מחדש את 792 הקליפים 10,000 פעמים, באותם קליפים בשני צדדי כל השוואה. ל־Oracle Max היה שיעור שגיאות נמוך יותר מכל אחד מ־17 הקבצים בכל 10,000 הדגימות. 5 המנועים האחרים לא מפרסמים קובץ לכל קליפ במבחן הזה, ולכן אפשר להשוות אותם רק לפי הנתון שפורסם. כולם מעל הקצה העליון של הרווח של Oracle Max, 14.1%.

כל התוצאות

Oracle Max וכל מנוע בלוח התוצאות, לפי שיעור שגיאות מילים. היתרון הוא בכמה נקודות האחוז השיעור של Oracle Max נמוך יותר. לחמישה מנועים אין קובץ לכל קליפ, ולכן הנתון שלהם מוצג בלי רווח בר־סמך ובלי השוואה צמודה.
מנוע, כפי שהוא מופיע בלוח התוצאותשיעור שגיאות מיליםרווח בר־סמך 95%משפטים בלי שגיאההיתרון, בנקודות (רווח בר־סמך 95%)פחות שגיאות מילים
KolWrite Oracle Max12.6%11.2% עד 14.1%309––
ivrit.ai whisper-large-v3-ct2-2025051317.4%נתון שפורסם–––
Soniox (stt)17.7%16.2% עד 19.3%1925.1 (4.3 עד 5.9)29%
ElevenLabs Scribe v118.1%16.6% עד 19.7%2185.5 (4.7 עד 6.4)31%
ivrit.ai whisper-large-v3-turbo-ct2-2025051318.1%נתון שפורסם–––
ivrit.ai whisper-large-v3-turbo (timing run)18.3%16.8% עד 19.8%1665.7 (5.0 עד 6.4)31%
ivrit.ai whisper-large-v3-ct2-2025040320.0%נתון שפורסם–––
ivrit.ai whisper-large-v3-ct2-2025020920.8%נתון שפורסם–––
ivrit.ai whisper-large-v3-turbo-ct2-2025040320.9%19.4% עד 22.5%1178.3 (7.5 עד 9.2)40%
OpenAI gpt-4o-transcribe21.1%19.5% עד 22.8%1668.5 (7.6 עד 9.4)40%
Amazon Transcribe (batch)23.0%21.4% עד 24.6%10110.4 (9.5 עד 11.3)45%
Deepgram Nova-323.4%21.8% עד 24.9%10510.7 (9.8 עד 11.7)46%
zipformer2-66m-streaming-he23.4%21.9% עד 25.1%10810.8 (9.9 עד 11.7)46%
ivrit.ai faster-whisper-v2-d424.2%22.7% עד 25.8%9311.6 (10.7 עד 12.6)48%
ivrit.ai whisper-large-v3-turbo-ct2-2025020924.5%נתון שפורסם–––
ivrit.ai faster-whisper-v2-d3-e325.6%24.0% עד 27.2%7613.0 (12.0 עד 14.0)51%
Whisper large-v3 (faster-whisper)26.2%24.6% עד 27.8%6513.6 (12.6 עד 14.6)52%
Whisper large-v2 (faster-whisper)26.7%25.1% עד 28.3%7314.0 (13.1 עד 15.1)53%
Amazon Transcribe (streaming)28.7%27.0% עד 30.4%6216.1 (15.0 עד 17.1)56%
Whisper large-v3-turbo (faster-whisper)28.9%27.2% עד 30.6%6516.3 (15.1 עד 17.5)56%
OpenAI gpt-4o-mini-transcribe30.1%28.3% עד 31.9%8217.5 (16.2 עד 18.8)58%
Google Speech38.5%36.8% עד 40.4%3225.9 (24.6 עד 27.3)67%
nemotron-3.5-asr-streaming-0.6b46.0%43.7% עד 48.4%3233.4 (31.2 עד 35.6)73%

הציון שלנו לקבצי המנועים שונה מהנתונים שפורסמו בלוח התוצאות בלא יותר מ־0.14 נקודות האחוז במערך הזה. השורה "timing run" היא קובץ נוסף של מודל של ivrit.ai, שחושב מתוצאות התזמון של לוח התוצאות. היא אינה מנוע 22 ואינה מופיעה בתרשים.

איך זה נמדד

  • המוצר. תמלול הענן של KolWrite ברמה Oracle Max, דרך ה־API הציבורי של KolWrite בשירות הייצור ב־21 בנובמבר 2026, כשהשפה מוגדרת עברית, הפרדת דוברים כבויה וללא אוצר מילים מותאם. אלה הקריאות שלקוח מבצע.
  • נתוני הבדיקה. מקטע הבדיקה בעברית (he_il) של FLEURS (Google, CC BY 4.0), גרסת מערך הנתונים 70bb2e84b976, כל 792 הקליפים. דבר לא הושמט. קליפ אחד החזיר טקסט ריק, והוא נספר כשגיאה בכל מילה.
  • הציון. השיטה של לוח התוצאות של ivrit.ai לתמלול בעברית (המנרמל HebrewTextNormalizer ב־ivrit-ai/asr-training, גרסה e333b4a0): שיעור שגיאות אחד על כל המילים בכל הקליפים, אחרי הסרת ניקוד, פיסוק, גרשיים ואותיות רישיות. לפני הריצה, קוד הציון שלנו שחזר את הנתונים בטבלת לוח התוצאות בהפרש של עד 0.17 נקודות האחוז.
  • סטטיסטיקה. בוטסטרפ אחוזונים על הקליפים, 10,000 דגימות חוזרות, גרעין אקראי 20261121 (‏default_rng של numpy). בכל השוואה שני המנועים מקבלים ציון על אותם קליפים שנדגמו.
  • המנועים האחרים. הריצות של לוח התוצאות עצמו, בגרסאות שהוא מציין, כפי שפורסמו ב־14 באוקטובר 2026 (לוח התוצאות, גרסה 412599da3e). אנחנו לא הרצנו אותם.
  • המפרסם. ITANU Studios Ltd, היוצרת של KolWrite. מדדנו את המוצר שלנו, ואנחנו מפרסמים את הקבצים כדי שכל אחד יוכל לבדוק את הציון.

מה המבחן הזה לא מראה

  • מערך בדיקה אחד: משפטים מוקראים, דובר אחד בכל קליפ. הקלטות של פגישות, שיחות טלפון, רעש ודוברים שמדברים יחד שונות, ויכול להיות שסדר המנועים בהן שונה.
  • רמה אחת, שפה אחת וריצה אחת. שירות תמלול לא מחזיר טקסט זהה בכל ריצה, ולכן ריצה חוזרת תנחת קרוב ל־12.6%, בתוך הרווח או לידו, ולא בדיוק עליו.
  • FLEURS הוא מערך בדיקה פומבי, גם עבור Oracle Max וגם עבור כל מנוע בטבלה.
  • לוח התוצאות מדווח גם על ארבעה מערכי בדיקה נוספים בעברית. הרישיונות או תנאי הגישה שלהם לא מאפשרים לנו לפרסם עליהם ריצה, ולכן אף אחד מהם לא מוצג כאן.
  • המספרים של המנועים האחרים הם של הגרסאות והתאריכים שלוח התוצאות מציין. גרסאות חדשות יותר לא נמדדו. מהירות ומחיר לא נמדדו כאן.
  • מוצגת רק עברית. שפות אחרות יופיעו כשיימדדו והקובץ שלהן יהיה פומבי. הדף הזה לא אומר דבר על מקומו של Oracle Max בשפה שאינה ברשימה.

בדקו בעצמכם

1. הורידו את הקובץ של כל קליפ. oracle-max-hebrew-fleurs-792-2026-11-21.csv מכיל את כל 792 השורות: משפט הייחוס של FLEURS, מה ש־Oracle Max החזיר, שני הטקסטים אחרי הניקוי, ומספר השגיאות בכל קליפ (‏id הוא מספר השורה של הקליפ במקטע הבדיקה של FLEURS). SHA-256: df61915b0e8604e070f6619983ddcd945cd20a6bd004ec5f13e8fd04a5e66900. משפטי הייחוס הם מתוך FLEURS (‏Conneau et al., 2022), ‏© Google, ברישיון CC BY 4.0. את התמלולים שלנו בקובץ מותר לעשות בהם שימוש חוזר באותו רישיון.

2. חשבו את הציון מחדש. score_wer.py (‏SHA-256 619048fbded7676e1e2b7f84e3771b89ea9a8affa05674713e94f135ef4ed1c9) קורא את הקובץ הזה בספרייה הסטנדרטית של Python, סופר מחדש את השגיאות של כל קליפ מהטקסטים המנורמלים ומדפיס את המספרים:

python3 score_wer.py oracle-max-hebrew-fleurs-792-2026-11-21.csv

הפלט

clips: 792
reference words: 13751
word errors: 1734
word error rate: 12.6%
95% interval: 11.2% to 14.1% (10000 resamples over clips, seed 20261121)
sentences with no error: 309
recount of errors from the cleaned texts: 792 of 792 clips agree with the file

הרווח נדגם בעזרת מחולל המספרים האקראיים של Python ובגרעין שפורסם, ולכן הוא יכול להיות שונה מהרווח שפורסם בספרה האחרונה.

3. הריצו את Oracle Max בחשבון שלכם. פתחו מפתח API והוסיפו קרדיטים, ושלחו את הקליפים של מקטע הבדיקה בעברית של FLEURS אחד אחד (כ־7.38 דולר לכל 792 הקליפים, US$3.60 לשעת אודיו). עם ה־API של האתר הזה (‏model הוא oracle_max, שפה he, בלי תיוג דוברים ובלי אוצר מילים מותאם):

# 1. Upload one clip (WAV, under 4 MiB). The answer contains fileUrl.
curl -X POST https://app.kolwrite.com/upload \
  -H "x-api-key: $KOLWRITE_API_KEY" \
  -H "Content-Type: application/json" \
  -d "{\"filename\": \"clip.wav\", \"contentType\": \"audio/wav\", \"content\": \"$(base64 < clip.wav | tr -d '\n')\"}"

# 2. Start the job with that fileUrl. The answer contains jobId.
curl -X POST https://app.kolwrite.com/transcribe \
  -H "x-api-key: $KOLWRITE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"audio_url": "FILE_URL_FROM_STEP_1", "model": "oracle_max", "language": "he", "output_format": "json", "word_timestamps": false}'

# 3. Poll every 5 to 10 seconds until status is COMPLETED. Join result.segments[].text with spaces.
curl https://app.kolwrite.com/transcribe/JOB_ID -H "x-api-key: $KOLWRITE_API_KEY"

המדידה שלנו עברה דרך ה־API של פלטפורמת KolWrite (‏https://api-prod.kolwrite.com, עם מפתח גישה מהגדרות ה־API באפליקציה, התיעוד כאן), שבו אותה רמה נקראת oracle-max. זו הבקשה המדויקת שנשלחה עבור כל קליפ:

curl -X POST https://api-prod.kolwrite.com/api/v1/uploads \
  -H "Authorization: Bearer $KOLWRITE_KEY" -F "[email protected];type=audio/wav"
# the answer's data.upload_id goes into the job:
curl -X POST https://api-prod.kolwrite.com/api/v1/jobs \
  -H "Authorization: Bearer $KOLWRITE_KEY" -H "Content-Type: application/json" \
  -d '{"type": "transcription", "input": {"type": "upload_ref", "upload_id": "UPLOAD_ID"}, "profile": "oracle-max", "options": {"language": "he", "speaker_separation": {"mode": "none"}}}'
# poll GET /api/v1/jobs/JOB_ID until data.status is "completed"; the text is data.result.segments[].text

איפה הנתונים. מערך הנתונים: google/fleurs, גרסה 70bb2e84b976. לוח התוצאות והקבצים שלו לכל קליפ: ivrit-ai/hebrew-transcription-leaderboard, גרסה 412599da3e. קוד הציון: ivrit-ai/asr-training, גרסה e333b4a0. ההערה שלנו על התוצאה: oracle-max-hebrew-fleurs-792-2026-11-21.md.

שמות המנועים והמוצרים שייכים לבעליהם, ומשמשים כאן רק לדיווח על התוצאות שלוח התוצאות פרסם עבורם.

שאלות ותשובות

האם המבחן הזה עצמאי?

לא. ITANU Studios Ltd, היוצרת של KolWrite, הריצה אותו על המוצר שלה. המספרים של המנועים האחרים הם של לוח התוצאות ולא שלנו. אנחנו מפרסמים כל תמלול ואת שיטת הציון כדי שכל אחד יוכל לבדוק את הציון של Oracle Max, והקבצים של לוח התוצאות מאפשרים לבדוק את השאר.

למה מופיעה רק עברית?

שפה מופיעה רק כשאפשר לפרסם עבורה קובץ של כל קליפ שכל אחד יכול לחשב מחדש. עוד שפות נמדדות, ואיננו מבטיחים תאריך.

האם אקבל בדיוק את אותו מספר אם אריץ בעצמי?

קרוב אליו, לא בדיוק. שירות תמלול לא מחזיר טקסט זהה בכל ריצה, ולכן ריצה חוזרת אמורה לנחות קרוב ל־12.6%, בתוך הרווח או לידו.

לאן לדווח על טעות בדף הזה?

כתבו אל [email protected] עם מזהה הקליפ או המספר. אנחנו מתקנים את הדף ואת הקובץ ואומרים מה השתנה.