کد GitHub: https://github.com/jiuhaichen/blip3o
مدل ها: https://huggingface.co/blip3o/blip3o-model
نسخه ی نمایشی: https://huggingface.co/spaces/blip3o/blip-
GPT-4O OpenAi نمایش های پیشرفته در تصاویر ، تولید و کارهای ویرایش را نشان می دهد. فرضیه های در حال ظهور معماری آن ، یک خط لوله ترکیبی را نشان می دهد ، که به صورت: ساخته شده است:
توکن [Autoregressive Model] → [Diffusion Model] → پیکسل های تصویر
این امر باعث می شود که مدل های ایجاد کننده خودکار و انتشار می توانند با هم برای ترکیب نقاط قوت هر دو ماژول استفاده شوند. با انگیزه این طرح ترکیبی ، ما در مطالعه خود چارچوبی برای گزارش خودکار + انتشار را می پذیریم.
در قاب انتشار خودکار + انتشار ، مدل خودکارآمدی خودکار ویژگی های بصری واسطه ای مداوم را ایجاد می کند که برای نزدیک شدن به تصاویر حقیقت زمینی طراحی شده و دو سؤال اصلی را ایجاد می کند.
اول ، چه چیزی باید به عنوان جاسازی حقیقت زمین مورد استفاده قرار گیرد: آیا ما باید از VAE یا کلیپ برای رمزگذاری تصاویر در ویژگی های مداوم استفاده کنیم؟
دوم ، از آنجا که مدل مرجع خودکار ویژگی های بصری را ایجاد می کند ، چگونه می توانیم آنها را به ویژگی های تصویر گوشتی برسانیم: با از دست دادن معمولی MSE یا با استفاده از یک رویکرد انتشار؟
ما دو الگوی رمزگذار تصویر را در نظر می گیریم:
بدجنسی: رمزگذاری تصویر در ویژگی های پیکسل سطح پایین و بازسازی بهتری را ارائه می دهد
کیفیت با این حال ، رمزگذاری های مبتنی بر VAE تمایل به تولید توالی طولانی تر از تعبیه های نهفته برای ورودی های با وضوح بالاتر دارند ، که باعث افزایش وزن محاسبات در روش آموزش می شود.
کلیپ + انتشار: رمزگذاری تصویر در خصوصیات معنایی سطح بالا و بازسازی تصویر واقعی از طریق یک مدل انتشار. علاوه بر این ، او از یک کلیپ برای رمزگذاری تصاویر در بصری مداوم تعبیه شده و بازسازی از طریق یک مدل انتشار استفاده می کند. در طول تمرینات ، رمزگذار انتشار به طور ریز تنظیم شده است تا از بصری تعبیه شده از کلیپ به عنوان شرایط بازیابی تصویر اصلی نویز Gaose در حالی که این فیلم یخ زده است ، استفاده کند. هر تصویری ، صرف نظر از وضوح آن ، می تواند در طول ثابت 64 بردار مداوم رمزگذاری شود ، هم جمع و جور و هم از نظر معنایی غنی از نهان ساخته شده را فراهم می کند ، اما برای تطبیق مدل های انتشار با کد های مختلف کلیپ نیاز به آموزش اضافی دارد.
برای ویژگی های بصری پیش بینی شده از مدل مرجع خودکار و فضیلت حقیقت از VAE یا کلیپ ، ما به دو هدف آموزشی نگاه می کنیم:
مگس: ما از دست دادن MSE بین ویژگی های پیش بینی شده و اصلی تصویر حقیقت محاسبه می کنیم.
جریان: تهویه ویژگی های بصری پیش بینی شده از مدل مرجع خودکار ، ما از از دست دادن تطبیق جریان برای آموزش ترانسفورماتور انتشار برای پیش بینی توابع کلیپ یا VAE استفاده می کنیم.
ترکیبی از معماری های مختلف تصاویر و رمزگذارهای رمزگذار و اهداف آموزشی باعث ایجاد تعدادی از گزینه های طراحی برای مدل های تولید تصویر می شود:
کلیپ + MSE: بعد از EMU2 و Seed-X ، ما از کلیپ برای رمزگذاری تصاویر در 64 تعبیه بصری معنایی با طول ثابت استفاده می کنیم. مدل مرجع خودکار برای به حداقل رساندن از دست دادن خطای میانگین مربع (MSE) بین خصوصیات تصویری پیش بینی شده و کلیپ از گوش ، تعبیه X. آموزش داده می شود.
کلیپ + مسابقه جریان: به عنوان جایگزینی برای از بین رفتن MSE ، ما از از دست دادن تصادفی جریان برای آموزش مدل برای پیش بینی کلیپ تعبیه شده حقیقت زمین استفاده می کنیم. با توجه به سریع ، مدل خودکار -کاهش دهنده دنباله ای از خصوصیات بصری ایجاد می کند. این خصوصیات به عنوان شرایطی برای هدایت فرآیند انتشار استفاده می شود ، و یک کلیپ تخمین زده شده برای نزدیک شدن به عملکردهای گوشتی کلیپ ساخته می شود. در اصل ، خط لوله برای نتیجه گیری شامل دو مرحله انتشار است: اولی از ویژگی های بصری تهویه مطبوع از یک مدل مرجع خودکار به دنوز تکراری در تعبیه کلیپ استفاده می کند. و دوم این کلیپ ها را از طریق رمزگشایی مبتنی بر انتشار بصری به تصاویر واقعی تبدیل می کند. این روش امکان نمونه گیری تصادفی در مرحله اول را فراهم می کند ، که امکان تنوع بیشتری در تولید تصویر را فراهم می کند.
VAE + مسابقه جریان: ما همچنین می توانیم از دست دادن جریان جریان برای پیش بینی ویژگی های VAE VAE ، که شبیه به Metamacre است ، استفاده کنیم. در طول نتیجه ، با به دست آوردن یک فرد ، مدل ضد انعطاف پذیر ویژگی های بصری را تولید می کند. سپس ، تهویه و حذف نویز تکراری در هر مرحله ، تصاویر واقعی توسط رمزگذار VAE ایجاد می شوند.
فرسایش بعدی مسابقه کلیپ + جریان را به عنوان مؤثرترین انتخاب طراحی نشان می دهد.
در مطالعه ما ، می فهمیم که وقتی تولید تصاویر را در یک مدل واحد ادغام می کنیم ، مدل های ضد انعطاف پذیر به طور مؤثر ویژگی های سطح معنایی (کلیپ) را نسبت به ویژگی های سطح پیکسل (VAE) می آموزند. و درک همزمانی جریان به عنوان هدف از آموزش بهتر توزیع اساسی تصویر را ضبط می کند ، که منجر به تنوع بیشتری از نمونه ها و افزایش کیفیت بصری می شود.
ما در حال انجام یک روند انتشار دو مرحله هستیم ، نه یک مرحله ،
- مرحله 1: مدل خودکار -ترانسفورماتور و ترانسفورماتور انتشار فقط تاسیسات معنایی با سطح بالا تولید می کنند.
- مرحله 2: رمزگذار انتشار نور جزئیات را در سطح پایین پر می کند.
این بخش نه تنها کیفیت را حفظ می کند بلکه باعث می شود روند کلی آموزش بسیار کارآمدتر شود.
با استفاده از یک رمزگذار کلیپ ، درک تصاویر و تولید تصویر همان فضای معنایی را به اشتراک می گذارد ، به طور مؤثر این دو کار را با هم ترکیب کنید. ما به دلیل زیر از آموزش مداوم (ادغام دیررس) به جای آموزش مشترک (ادغام اولیه) استفاده می کنیم:
این به ما امکان می دهد تا ستون فقرات ضدعفونی کننده خودکار را یخ زده و توانایی درک تصویر را حفظ کنیم.
ما می توانیم تمام ظرفیت آموزش تولید تصویر را اختصاص دهیم و از هرگونه تأثیر وظایف در آموزش مشترک جلوگیری کنیم.
بر اساس اکتشافات ما ، ما مسابقه Clip + Flow و آموزش های مداوم را برای توسعه مدل چند مدلی متحد خودمان Multimodal Blip3-O می پذیریم.
برای مدل 8B ، ما حدود 25 میلیون داده منبع باز را با 30 میلیون تصویر اضافی ترکیب می کنیم. تمام کتیبه های تصویر توسط QWEN2.5-VL-7B-“سازنده تولید می شوند و توضیحات مفصلی را با طول متوسط 120 نشانه بدست می آورند. برای بهبود خلاصه به طول های مختلف سریع ، ما همچنین حدود 10 ٪ (6 میلیون) کتیبه های کوتاه تر با حدود 20 نشانه را در بر می گیریم.
برای یک مدل منبع باز کاملاً 4B ، ما از 25 میلیون تصویر در دسترس عمومی استفاده می کنیم که هر یک با همان کتیبه های دقیق جفت شده اند. ما همچنین در حدود 10 ٪ (3 میلیون) کتیبه کوتاه به دست آمده از آن مخلوط می کنیم.
در تنظیم دستورالعمل ها ، ما بیشتر GPT-4O را ترغیب می کنیم تا 60K داده با کیفیت بالا تولید کند. این مدل می تواند به سرعت با سبک GPT-4O سازگار شود و هم تراز سریع و هم کیفیت بصری را بهبود بخشد. این مدل نسبت به تصاویر واقعی به طور مؤثرتری از تصاویر تولید شده AI می آموزد.
برای حمایت از جامعه تحقیقاتی ، ما 25 میلیون کتیبه دقیق ، 3 میلیون کتیبه کوتاه و داده های دستورالعمل 60K را منتشر می کنیم.
ما می دانیم که این مدل می تواند به سرعت با سبک GPT-4O سازگار شود و هم تراز سریع و هم کیفیت بصری را بهبود بخشد.
درک تصویر بهبود یافته است
به طور خلاصه ، ما اولین مطالعه سیستماتیک از معماری های اتورگید و انتشار ترکیبی را برای یک مدل سازی مولدوودال متحد ، ارزیابی سه جنبه مهم: ارائه تصویر (CLIP در مقابل ویژگی های VAE) ، اهداف آموزشی (همزمانی جریان در برابر MSE) و استراتژی آموزش ارائه دادیم. آزمایشات ما نشان می دهد که ترکیب این فیلم در ترکیب با از دست دادن همزمانی جریان ، هم بهره وری سریعتر آموزش و هم نتایج با کیفیت بالاتر را فراهم می کند. بر اساس این بینش ها ، ما BLIP3-O را معرفی می کنیم ، خانواده ای از مدلهای مجرد مدرن که با دستورالعمل 60K تقویت شده اند ، مجموعه داده های blip3o-60k را تنظیم می کنند ، که به طور قابل توجهی تراز سریع و زیبایی شناسی بصری را بهبود می بخشد. ما به طور فعال روی برنامه های مدل یکنواخت کار می کنیم ، از جمله ویرایش غیرطبیعی تصاویر ، گفتگوی بصری و بازتاب های بصری مرحله ای.
اگر سؤالی دارید به بحث ما بپیوندید: https://discord.gg/ssvydv84bw
● کاغذ: https: //arxiv.org/abs/2505.09568v1
● گیتوب: https: //github.com/jiuhaichen/blip3o
● مجموعه داده ها:
pretrain → https://huggingface.co/datasets/blip3o/blip3o-pratrain-long- شرح
تنظیم دستورالعمل → https://huggingface.co/datasets/blip3o/blip3o-60k
