NolliGAN
סדרת עבודות ווידאו מאת בן דרוסינסקי
בעולם האינטליגנציה המלאכותית StyleGAN2, הוא אלגוריתם מיוחד. המודל, שיצא ממעבדות חברת המאיצים הגרפיים Nvidia, יכול ללמוד ולזהות מידע ויזואלי ולייצר מידע ויזואלי חדש לפי מה שלמד. המודל מתאמן על סט רחב של תמונות, מזהה בהם פיקסלים, ולומד את הדימוי שכבה אחר שכבה. בשלב מסוים, הלמידה של האלגוריתם כל כך עמוקה שהוא יכול להתחיל לייצר דימויים חדשים בעצמו.
הארכיטקטורה של האלגוריתם מיוחדת. StyleGAN2 בעצם מורכב משתי אלגוריתמים יריבים. אלגוריתם אחד מחזיק ומאומן על סט הדימוים המקורי (=האמת). מטרת האלגוריתם השני היא לרמות אותו. האלגוריתם השני שולח אל הראשון דימוי אחרי דימוי, שהאלגוריתם הראשון מנפה עד שמגיע הדימוי שאותו הוא מזהה כשייך לסט האמיתי. משם, המודל מוכן לייצר דימוים שמבחינתו, הם האמת וקרובים ככול הניתן למציאות שעליה אומן. אבל האלגוריתם לא רק מייצר אימג׳ חדש, הוא גם מייצר את כל האפשרויות הקרובות אליו שיכולות להיות בכול הצירופים האפשריים.
כאדריכלים, רוב העבודה שלנו היא ייצוג מופשט של המציאות. תכניות בקני מידה משתנים, מודלים והדמיות תמיד היו ייצוג מופשט של אובייקט שעדיין לא קיים, ושיכול להיות שגם לא יתקיים. לפעמים, ייצוג זה אפילו לא מודפס לדף, ונשאר בעולם הדיגיטלי שלו.
כאדריכל תמיד עניין אותי השימוש בכלים דיגיטליים לייצור דימוים. הדו שיח שלנו עם הכלים הדיגיטליים שלנו טכני, אנו משתמשים בהם לשרטט קווים, לצבוע משטחים, לתת חומר לאובייקטים ולערוך תמונות. מודלי למידת מכונה יכולים אולי לתת עומק לעבודה שלנו מול כלים דיגיטליים ולהעמיק את הדו שיח עם המחשב. בעזרת הטכנולוגיה הזאת נוכל לבנות כלים חדשים וגם לבחון את מגבלות ויכולות הכלים הקיימים.
בעבודה הזאת ניסיתי להבין איך אלגוריתם לומד ומפתח הבנה של מפות. כדי לבחון זאת, החלטתי להשתמש במפת הנולי. מפת הנולי היא הקאנון של מיפוי עירוני, שהגדירה את יכולות המיפוי וקבעה סט גרפי לייצוג של היררכית הפרטי מול הציבורי. רציתי לדעת אם האלגוריתם יכול להבין את מפת הנולי. לא רק לייצר מפת נולי חדשה אלא גם להתחיל להבין אותה.
בהתחלה אימנתי את האלגוריתם על סט דימוים שיצרתי ממפת הנולי המקורית. במקביל, אימנתי אלגוריתם אחר, שמתוכנת לזהות דימוים ולהציג את הזיהוי בטקסט, על אבני הבסיס של מפת הנולי: כנסייה, רחוב, בניין ופיאצה.
לאחר מכן, כל מה שנשאר לעשות הוא להריץ את המודלים אחד על גבי השני ולהתחיל לבחון את המרחב הלטנטי. המרחב הלטנטי הוא התת מודע של האלגוריתם. שם, האלגוריתם אוגר את הדימוים האפשריים שהוא מייצר במטריצה בלתי אפשרית של 512 מימדים, ושולף אותם אל המציאות לפי בקשה או גחמה. העבודות המוצגות הן תנועה במרחב הזה, לפי עוגנים שקבעתי. האלגוריתם מייצר את כל האפשרויות בין עוגן לעוגן ומציג אותם בתנועה מתמדת.