סיכום תמציתי
הסרטון מדגים כיצד להגדיר ולהשתמש במודל Flux Dev ליצירת תמונות באמצעות ComfyUI. הוא מציג את השלבים הדרושים, כולל הורדת המודלים, טעינתם לתוך ComfyUI, חיבור הצמתים (nodes) הנכונים והתאמת הגדרות מפתח כמו CFG scale. הסרטון גם מציג שיפורים אפשריים בתהליך העבודה, כגון שימוש בצומת (node) תמונה סמויה חלופית (latent image node) וניסוי עם יחסי גובה-רוחב שונים וטקסט בתמונות.
- הסרטון מספק הדרכה שלב אחר שלב להגדרת מודל Flux Dev ב-ComfyUI.
- הוא מדגיש את החשיבות של הגדרת CFG scale ל-1.0.
- הסרטון מציג שיפורים אופציונליים בתהליך העבודה, כגון שימוש בצומת תמונה סמויה חלופית (latent image node) וניסוי עם טקסט בתמונות.
הסרטון בוחן האם מודל Flux הוא רק הייפ או צעד בכיוון הנכון עבור מודלים של טקסט לתמונה. הוא מציג את זרימת העבודה הפשוטה ביותר להפעלת Flux באמצעות מודל Flux Dev כנקודת ביקורת (checkpoint) יחד עם זרימת העבודה המוגדרת כברירת מחדל של ComfyUI.
כדי להתחיל, יש לפתוח את ComfyUI עם קנבס ריק. הצומת (node) הראשון הנדרש הוא צומת טעינת נקודת ביקורת (load checkpoint node). יש ללחוץ לחיצה ימנית כדי להוסיף צומת (node), לעבור למטעינים (loaders) ולבחור "טען נקודת ביקורת" (load checkpoint). לאחר מכן, יש להזין את הפרומפט החיובי (positive prompt) לתמונה. יש ללחוץ לחיצה ימנית כדי להוסיף את הצומת (node), לעבור להתניות (conditioning) ולבחור את הצומת (node) "טקסט קליפ קידוד" (clip text encode).
יש לבקר בדף של Comfy Anonymous ולגלול מטה עד שמגיעים לגרסת fp8 של נקודת הביקורת (checkpoint) שקל להשתמש בה. מודל Dev ישמר בספריית ComfyUI כנקודת ביקורת (checkpoint), בדומה לכל מודל SD 1.5 או SD XL. יש ללחוץ לחיצה ימנית כאן כדי להוריד את המודל מ-Hugging Face. גודל הקובץ הוא 17 ג'יגה-בייט, אך זה הרבה יותר טוב בהשוואה למודל Unet. נקודות ביקורת (checkpoints) אלה הן גם בצורה של טנסורים שמורים (save tensors). יש ללחוץ כאן כדי להוריד ולשמור אותו בספריית ComfyUI. יש לעבור אל "מודלים" (models), למצוא תיקיית נקודות ביקורת (checkpoint) ולשמור אותו שם. ניתן לעשות את אותו הדבר עבור מודל Chanel. מודל Chanel מהיר יותר ליצירת תמונות מכיוון שהוא משתמש באחד עד ארבעה שלבים, אך הוא פחות חזק בהשוואה למודל Flag Dev. יש ללחוץ כאן כדי לעבור לדף Hugging Face, להוריד את מודל saf ולשמור אותו באותה תיקייה שבה השתמשנו קודם לכן.
יש לחבר את פלט המודל מצומת טעינת נקודת הביקורת (low checkpoint) לצומת K sampler. יש לגרור את הקליפ (clip) לפרומפט החיובי (positive prompt) לפני הפרומפט החיובי (positive prompt) לצומת K sampler. יש ללחוץ פעמיים כדי לחפש את הצומת (node) שהוא הנחיית שטף (flux guidance) ולבחור אותו. זה נדרש לפני חיבור הפרומפט החיובי (positive prompt) לצומת K sampler. לאחר מכן, החיובי עובר לצומת הנחיית שטף (flux guidance) ואז לצומת K sampler. ההגדרה היחידה שיש לעקוב אחריה כאן היא סולם CFG. יש לוודא שה-CFG מוגדר ל-1.0. לאחר מכן, יש לשנות את ה-seed מ-50 ולהשאיר את כל השאר כברירת מחדל. לאחר מכן, יש לחבר את התמונה הסמויה הריקה (empty latent image) לצומת K sampler. מצומת K sampler, יש צורך בקידוד vae. לאחר מכן, יש צורך בצומת שמירת תמונה (save image node) עבור הפלט הסופי.
צומת K sampler של שטף (flux) עדיין דורש את חיבור הקלט השלילי (negative input) כדי לעבד את התמונה. יש לשכפל את הפרומפט החיובי (positive prompt) ולשנות את הצבע לאדום כדי להשתמש בו כפרומפט השלילי (negative prompt). מכאן, יש לגרור מהפלט של הקליפ (clip) לפרומפט השלילי (negative prompt). כעת הפרומפט השלילי (negative prompt) עובר לצומת K sampler. מכיוון שאין צורך בפרומפט שלילי (negative prompt) באמצעות שטף (flux), יש ללחוץ לחיצה ימנית ואז לבחור "צמצם הבא" (collapse next). לאחר מכן, יש לגרור את פלט ה-vae ולהשתמש בתכונת הניתוב מחדש (reroute) כדי לעקוב אחר הנתיב שמגיע עד לצומת קידוד ה-vi a.
חלופה נוספת לתמונה הסמויה הריקה (empty latent image) היא צומת התמונה הסמויה Mt sd3. יש לשנות את ה-seed ל"קבוע" (fixed) כדי לא לפספס את מספר ה-seed בכל פעם. השינויים אינם דרסטיים, המודל עדיין עוקב אחר הפרומפט (prompt) במדויק גם עם זרימת עבודה בסיסית זו. יש לנסות יצירת תמונה נוספת ביחס של 16x9. יש לשנות את הרוחב ל-1344 וגם את הגובה ל-768. יש להגדיר את גודל האצווה (batch size) לארבע.
יש לבדוק כיצד מודל Dev מבצע עם קלט טקסט. הטקסט מבוצע היטב ללא שגיאות הקלדה, הוא רק פספס את טקסט ה-dev כאן עם תמונת האצווה השנייה. המודל הזה צריך להיחשף עם הנחיות טובות. שיפור ההנחיה (prompt) שיפר את התוצאה הסופית באמצעות מודל fla Dev כדי להגיע לתמונה הסופית. זמן היצירה באמצעות 20 שלבים ארך 631 שניות, כלומר כ-10 דקות ו-31 שניות בסך הכל.
Summarize any YouTube video in seconds
Get summaries like this one for any video, in your language, with the free Summ app.
Transcript
YouTube Transcript Generator
0:00 is the Fluxx model just hype or a step in the right direction for text to image models this will be the simplest workflow to get flux running by using the flux Dev model as a checkpoint along with the default comfy UI workflow to get started let's open up comfy UI with a blank canvas the first node required is the load checkpoint node so right click to add a node go to loaders select load checkpoint secondly we also need to input the positive prompt for the image right click to add the node go to conditioning we select the clip text and code node also I'll change the color here to Green as the positive prompt next to the K sampler node I'll right click to add a node again go to sampling and choose the K sampler for the image
0:46 size we need the empty latent image node right click once again go to the latent and select the empty latent image before we connect all of the noes let's go get the fla Dev model for the low checkpoint noes so visit the page here by comfy Anonymous and scroll down until you see the simple to use fp8 checkpoint version and to use the dev model this will be saved into the comfy UI directory as a checkpoint so this will be similar to any SD 1.5 model or SD XL models so right click here to download the model which will be on haging face uh this is a 17 gig file size but this is a lot better compared to the unit model so these checkpoints are also in the form of save tensors so click here to
1:31 download and save it into your comfy UI directory we go under models we find a checkpoint folder we save this here and I already have mine downloaded here next we go back to the page and you can also do the same for the chenel model the Chanel model is faster to generate images since it uses one to four steps however it is less powerful compared to the flag Dev model click here to go to the huging face page once again download the saf model and save it into the same folder we used earlier so I have both of the flax models here which is the dev model and also the Chanel model once all of this is saved head back to CI refresh the canvas to update the models scrolling down until I see the model I have both of them here and I'll select
2:18 the flag Dev model you can go ahead to choose whatever you may go for I'll also zoom out here and I'll change the image size to an SD XL resolution which will be 1024x 1024 so let's connect all of the nodes to test the flax Dev model so far firstly connect the model output from the low checkpoint into the K sampler node I'll drag the clip into the positive prompt before the positive prompt into the K sampler node double click to search for the node which is flux guidance and select this right here this is required before we connect the positive prompt into the K sampler the positive then goes into the flax guidance node and then then into the K sampler node I'll zoom into the K sampler the only setting to be monitored
3:04 here is the CFG scale so going back to the page it states here make sure to set CFG to 1.0 so let's do that for the CFG and set this to 1.0 so next I'll go ahead to change the seed from here to 50 and I'm going to leave everything else at default the EUR can be the same as it is and you guys can always experiment with which sampler name you want to go for so I'll zoom out here and next I'll connect the empty latent image to the K sampler from the K sampler we need a vaed code so drag this out for the vaed code node to process all of this into an image then we need a save image node for the final output I'll make this a bit
3:50 bigger and place it under the VA de code node so basically this is a replica of the default workflow in comfy UI only using the checkpoint know as the dev model from flax so let's zoom in here and I'm going to type in a positive prompt to use the flax Dev model to see the outcome of what we have so far I'll use the Q promps to see if all of the notes are correctly connected it seems I forgot a few connections the flax Cas sampler still requires the negative input connection to process the image I'll close this here zoom out drag this note down I'll duplicate the the positive prompt right click here and I'll change this to the color red to use as our negative prompt
4:36 from here I'll drag from the clip output into the negative prompt also highlight the text here and delete it so now the negative prompt goes into the K sampler since we do not need a negative prompt using flux I'm going to right click then choose collapse next here I'm going to drag the vae output and also I'll use the reroute feature to follow the path which goes all the way into the vi a code node I'm sure we got everything sorted now so let's hit the Q prompt once again to see our first image from the flax model all right so finally we have this working this is awesome I didn't get this image right away it took a long processing time for the first image before completion and I'm hoping this
5:22 will be sorted out shortly as most of you experienced from the previous comments however after this all your image Generations will be way faster and quicker you only need to be patient for the first generation process so zooming in here another alternative for the empty latent image is the Mt sd3 latent image node I'm not sure if this makes a huge difference but this is recommended for the flax workflow so let's test this out as well to see the results I'll bypass this for now also let's change the seed to fixed so we don't miss the seed number every time so while kprom once again using the sd3 latent image node to see the results so the changes are not too
6:09 drastic the model still follows the promt precisely even with this basic workflow I still love the quality and resolution from the flux Dev model I still want to push this a bit further so I'm going to zoom in here I'll delete this and keep this as recommended Also let's try another image generation in a 16x9 ratio change the width uh to be 1344 and also the height to be 768 down with the batch size I'm going to put this at four I'll scroll up to the positive node highlights to delete this here I have a prompt here including a text and I'm curious to see how the dev model performs with the text input so let's test it out to see the result I'll hit Q prompt let's see our first text generation with this simple flag St
6:55 workflow all right so this is looking amazing the text here is well executed with no typos it only miss the dev text here with the second batch image I'm still very impressed I feel this model has a lot to be uncovered with good prompting I still spend some time improving the prompt which I had earlier with more descriptive words this enhanced the final result using the fla Dev model to arrive at the final image the time generation using 20 steps took 631 seconds so it's approximately 10 minutes 31 seconds in all so I hope this was helpful for you guys starting up with the dev model using the simple default comfi workflow if you are still looking
7:41 to do a deep dive into the initial setup and using the unet models with the Chanel model you can watch this video guide right here don't forget to leave a like as always and I'll see you guys in the next video [Music] oh