מדריך
השוואת מודלי תמונה AI על אותו רפרנס ואותו פרומפט
אסף בוסקילה6 דקות קריאה
אסף לקח תמונת רפרנס של רץ על כביש ופרומפט אחד, תיצרו לי קמפיין ריצה ותתפרעו, והריץ אותם בשלושה מודלי תמונה. Seedream קיבל 4 מתוך 10, מודל התמונה של GPT קיבל 7 מתוך 10, וננו בננה קיבל 9 מתוך 10. אלה ציונים אישיים מהניסוי הזה, ואחר כך מוסבר איך להריץ את אותו מבחן על תמונה שלכם.
תמלול
עשיתי ניסוי קטן ולקחתי את התמונה שלמעלה והבאתי אותה לשלושה מודלי תמונה עם אותו prompt ואמרתי להם עכשיו תיצרו לי קמפיין ריצה ותתפרעו. בואו נראה מה יצא. אז הראשון זה Seedream, מודל סיני. הוא טיפה נגע לנו באפקטים של התמונה, קצת אפקטים של אינסטגרם זה מרגיש. אפילו עיוות לנו טיפה את הבחור. 4 מתוך 10. הבא זה המודל של GPT, המודל האהוב עלי. הוא נתן לנו גם טיפה יותר צבעים, אפקט של שקיעה, הגדיל לנו את האצן ואפילו שם סמל של נייק בלי שביקשתי. 7 מתוך 10 הפעם. והמנצח שלנו, ננו בננה. תראו מה עשה. לקח את האצן שלנו, שם אותו באמצע. אפילו שם איזה אפקט של שמיים נחמד, הכיתוב מגניב, אני אהבתי מאוד. 9 מתוך 10. אז אותו reference, אותו prompt. מי ניצח אצלכם?
בסרטון יש ניסוי אחד. תמונת רפרנס של רץ על כביש, פרומפט אחד, ושלושה מודלי תמונה. אחר כך יש את אותם צעדים, כדי שתוכלו להריץ את המבחן על תמונה שלכם.
מה נשאר קבוע בניסוי
לפני שמשווים מודלים מקבעים מה לא זז. בניסוי הזה שני דברים נשארו קבועים. הראשון הוא תמונת רפרנס אחת: רץ על כביש. השני הוא פרומפט אחד, בלי ניסוח אחר לכל מודל.
תיצרו לי קמפיין ריצה ותתפרעואסף הביא את אותה תמונה לשלושה מודלים ואמר להם את המשפט הזה: תיצרו לי קמפיין ריצה ותתפרעו. אם כל מודל היה מקבל תמונה אחרת, או משפט אחר, אי אפשר היה לדעת אם ההבדל בא מהמודל או מהבקשה. כאן מה שאפשר לראות הוא מה כל מודל עשה עם אותו חומר.
הפרומפט קצר. הוא מבקש קמפיין ריצה ונותן למודל מקום להתפרע, בלי לקבוע צבע, שעה, מיקום של הרץ או כיתוב. כל תוספת היא בחירה של המודל. בריצה היו שלושה מודלים: Seedream, מודל סיני, מודל התמונה של GPT שאסף הכי אוהב, וננו בננה.
מה כל מודל החזיר
הציון בכל שורה הוא של אסף, על הריצה הזאת. הוא ציון אישי מניסוי אחד. הוא לא אומר מה יקרה עם תמונה אחרת, ולא מחליף מבחן רחב.
- Seedream, 4 מתוך 10. המודל נגע באפקטים של התמונה, באופן שמזכיר אפקט של אינסטגרם, ועיוות מעט את הרץ. כשתמונת הרפרנס היא אדם, עיוות של הגוף או של הפנים הוא הדבר הראשון שמוריד ציון. אפקט לא מתקן את זה.
- מודל התמונה של GPT, 7 מתוך 10. זה המודל שאסף הכי אוהב, ובריצה הזאת הציון לא היה הגבוה. המודל הוסיף צבע, שם אפקט של שקיעה, והגדיל את הרץ. הוא גם שם סמל של נייק, בלי שהפרומפט ביקש מותג. יש כאן יותר החלטה לקמפיין: שקיעה, רץ גדול יותר, צבע חזק יותר. יש גם פשרה מול הרפרנס, כי הרץ כבר לא באותו גודל.
- ננו בננה, 9 מתוך 10. זה המנצח של הניסוי אצל אסף. הרץ עבר למרכז. נוסף אפקט שמיים שנראה טוב. נוסף כיתוב שאסף אהב. הציון הגבוה אומר שבריצה הזאת התוצאה הייתה הקרובה ביותר למה שהוא רצה לראות בקמפיין. הוא לא אומר שהתמונה מוכנה לפרסום בלי להסתכל עליה שוב.
בסוף הסרטון אסף שואל מי ניצח אצלכם. התשובה תלויה בתמונה שלכם ובמה שחשוב לכם לשמור מהרפרנס.
לוגו שנכנס בלי שביקשתם
הפרומפט ביקש קמפיין ריצה. מודל התמונה של GPT הוסיף סמל של נייק מעצמו, בלי שהפרומפט ביקש מותג. לוגו כזה הוא סיכון לשימוש מסחרי, בקמפיין, בפוסט או במודעה. לפני שמשתמשים בתוצאה מחפשים סימן, מילה, או בגד שנראה שנלקח ממותג.
אותו הרגל קיים גם בטקסט. במדריך איך לעבוד עם ChatGPT בודקים שכל עובדה בתשובה נמצאת במה שמסרתם. כאן הבדיקה חזותית: מה נוסף לתמונה אחרי שהפרומפט נגמר.
איך מריצים את אותו מבחן
לא צריך את תמונת הרץ. צריך תמונה אחת שלכם, שמותר לכם להעלות למודל: צילום שצילמתם, של חפץ, של מקום, או של אדם שאמר שזה בסדר. כותבים פרומפט אחד ומעתיקים אותו כמו שהוא לכל מודל. לא משפרים את הניסוח באמצע, גם אם המודל הראשון אכזב. אם התמונה שלכם היא לא ריצה, החליפו את נושא הקמפיין במילה שלכם והשאירו בקשה קצרה. כל המודלים מקבלים את אותו משפט.
- בוחרים תמונת רפרנס אחת, ורושמים מה בה אסור לאבד. אצל אסף זה היה הרץ על הכביש.
- כותבים פרומפט אחד. מעתיקים אותו כמו שהוא לכל מודל.
- בוחרים את המודלים שיש לכם גישה אליהם. בניסוי היו שלושה. שניים כבר מלמדים, אם שניהם מקבלים את אותו חומר.
- מריצים פעם אחת לכל מודל. רושמים את שם המודל ליד התוצאה, כדי שלא תערבבו אחר כך מה יצא איפה.
- נותנים ציון רק אחרי שעוברים על הרשימה הקבועה שבסעיף הבא.
אם הרצתם שוב עד שיוצא יפה, רשמו שזאת ריצה נוספת. אחרת משווים ניסיון מוצלח של מודל אחד לניסיון ראשון של מודל אחר.
על מה נותנים את הציון
לפני שמסתכלים, כותבים על מה הציון. אם מחליטים אחרי שרואים מה יפה, הציון נמשך אל התוצאה המרשימה ולא אל מה שביקשתם. הרשימה נשארת זהה לכל המודלים באותו סיבוב.
בניסוי הזה אפשר לראות ארבעה דברים שאסף הגיב אליהם. הוא לא מילא טופס לכל סעיף, ונתן מספר אחד לכל מודל. אתם יכולים להשתמש באותם דברים כרשימת בדיקה לפני המספר:
- האם האדם שברפרנס נשאר מזוהה, בלי עיוות. אצל Seedream העיוות הוריד את הציון.
- האם נוסף אפקט, צבע, שמיים או כיתוב. אצל שלושת המודלים נוספה החלטה כזאת, וכל אחד הוסיף משהו אחר.
- האם נוסף פרט שלא ביקשתם, כמו לוגו של מותג. זה קרה במודל של GPT.
- האם התוצאה מרגישה כמו הקמפיין שהפרומפט ביקש. אצל ננו בננה המיקום במרכז, השמיים והכיתוב הם מה שאסף אהב.
אפשר להחליף סעיף אחד, למשל קריאות של כיתוב אם ביקשתם טקסט. את הרשימה עצמה לא משנים באמצע ההשוואה. הציון הוא מספר אחד מתוך 10, כמו 4 מתוך 10, 7 מתוך 10 ו 9 מתוך 10 בניסוי. ליד המספר כותבים משפט: מה עלה ומה ירד.
סיבוב שני, בשינוי אחד
סיבוב אחד מראה מה קרה. סיבוב שני מראה מה זז כשמשנים דבר אחד. משנים או את הפרומפט, או את תמונת הרפרנס. לא את שניהם יחד. אם שניהם השתנו, אין לדעת מה הזיז את התוצאה.
דוגמה לשינוי פרומפט, בלי לטעון שאסף הרץ אותה בסרטון: להוסיף שאסור להוסיף לוגו או מותג, בגלל סמל נייק. מריצים שוב את אותם מודלים על אותה תמונה. דוגמה לשינוי רפרנס: אותה בקשה על תמונה אחרת שלכם. כותבים את הציון החדש ליד הישן.
אם מודל עלה אחרי שאסרתם לוגו, למדתם על הפרומפט. אם מודל ירד כשהתמונה התחלפה, הניצחון הקודם היה תלוי ברפרנס. עוצרים כשיש תוצאה שאתם מוכנים להראות, אחרי בדיקה של לוגו, כיתוב ועיוות.
מה ריצה אחת לא אומרת
שלושה ציונים מתמונה אחת לא עונים על השאלה איזה מודל תמונה הכי טוב. הם אומרים מה קרה כשאסף ביקש קמפיין ריצה על הרץ הזה. ננו בננה ניצח אצלו בריצה הזאת, עם 9 מתוך 10. אצלכם יכול לנצח מודל אחר. יכול גם להיות שאף תוצאה לא שמישה, אם כולן מוסיפות משהו שאי אפשר להשאיר.
דירוג שמסכם הרבה תמונות לא מחליף את התמונה שאתם צריכים עכשיו. אם מודל נחשב מוביל במקום אחר, ועדיין אצלכם הוא מוסיף מותג או מעוות את האדם, מחליטים לפי הציון על התמונה הזאת.
הצעד הבא הוא להריץ את המבחן על תמונה אחת, לרשום ציון ומשפט לכל מודל, ולהחליט אם יש תוצאה שאפשר להשתמש בה. מי שרוצה לתרגל את הבדיקה הזאת עם ליווי ממשיך אל עמוד הלמידה. בוחרים שם מטרה אחת, עובדים עליה, ובודקים איך ממשיכים לבד.
שאלות נפוצות
מה זאת השוואת מודלי תמונה AI במדריך הזה?
זאת ריצה אחת של אסף: תמונת רפרנס של רץ על כביש, והפרומפט תיצרו לי קמפיין ריצה ותתפרעו, בשלושה מודלים. Seedream קיבל 4 מתוך 10, מודל התמונה של GPT קיבל 7 מתוך 10, וננו בננה קיבל 9 מתוך 10. אלה ציונים אישיים מהניסוי הזה.
איזה מודל תמונה הכי טוב?
אין כאן תשובה כללית. בניסוי הזה ננו בננה קיבל את הציון הגבוה, 9 מתוך 10, אחרי שהרץ נשאר במרכז ונוספו אפקט שמיים וכיתוב. מודל אחר יכול לנצח על תמונה אחרת. מריצים את אותו רפרנס ואת אותו פרומפט אצלכם ונותנים ציון משלכם.
מה עושים אם מודל מוסיף לוגו של מותג?
במודל של GPT הופיע סמל של נייק בלי שהפרומפט ביקש אותו. תוספת כזאת היא סיכון לשימוש מסחרי, גם כשהתמונה מוצאת חן. לפני שמשתמשים בתוצאה בודקים אם נכנס מותג, טקסט או פרט שלא ביקשתם.
איך מריצים את אותו מבחן?
בוחרים תמונת רפרנס אחת שיש לכם זכות להשתמש בה, כותבים פרומפט אחד, ומריצים אותו בכמה מודלים בלי לשנות את הנוסח בין הריצות. נותנים ציון אחד מתוך 10 אחרי בדיקה של האדם שברפרנס, של תוספות, ושל פרט שלא ביקשתם. בסיבוב הבא משנים רק את הפרומפט או רק את הרפרנס.
רוצים לתרגל על משימה שלכם?
בליווי האישי בוחרים מטרה, עובדים יחד ובודקים איך ממשיכים לבד. מתחילים מהדבר שאתם רוצים לדעת לעשות.