بسمه تعالی

گروه مهندسی پزشکی

اطلاعیه دفاع پایان‌نامه کارشناسی ارشد

تولید هوشمند گزارش برای تصاوير پزشکی مبتنی بر مدل های عمیق بازگشتی

ارائه دهنده: فردین قادری

زمان:  چهارشنبه 21 شهریور  1403 ساعت 11      مکان: ساختمان اصلی کلاس 211

استاد راهنمای اول: جناب آقای دکتر محمد باقر خدابخشی   مرتبه علمی:   استادیار    دانشگاه: صنعتی همدان

استاد راهنمای دوم: جناب آقای دکتر شهریار جاماسب      مرتبه علمی:   دانشیار          دانشگاه: صنعتی همدان

استاد داور داخلی: جناب آقای دکتر علی رضا فلاحی        مرتبه علمی:    استادیار       دانشگاه: صنعتی همدان

استاد داور خارجی: جناب آقای دکتر حمید رضا شاهدوستی   مرتبه علمی:  دانشیار       دانشگاه: صنعتی همدان

چکیده:

در مطالعات علوم پزشکی، از تصاویر پزشکی برای تشخیص و طراحی پروتکل‌های درمانی استفاده گسترده‌ای می‌شود. جراحان از تصویربرداری قبل، پس و حین عمل برای نظارت بر روند درمان بهره می‌برند. نوشتن گزارش پزشکی به شکل متنی برای پزشکان بی‌تجربه ممکن است خطا داشته باشد، زیرا نیازمند درک عمیق بیماری و تجزیه و تحلیل آن است. این کار برای متخصصان نیز به دلیل تعدد بیماران زمان‌بر و پر زحمت است. وجود گزارش‌های الگو می‌تواند دقت تشخیص و کاهش خطا را بهبود بخشد. با گسترش هوش مصنوعی و استفاده از شبکه‌های عصبی عمیق، تولید گزارش‌های پزشکی نیز توسعه یافته است. در این روش، ابتدا ویژگی‌های تصویر استخراج و سپس با استفاده از این ویژگی‌ها یک گزارش تولید می‌شود. تولید گزارش برای تصاویر پزشکی شامل دو بخش رمزگذار و رمزگشا است که این بخش‌ها از شبکه‌های عصبی کانولوشن، بازگشتی یا شبکه‌های مبتنی بر مکانیسم توجه تشکیل شده‌اند.

این پژوهش دو مدل مبتنی بر یادگیری عمیق را برای تولید خودکار گزارش‌های تصاوير رادیولوژی مجموعه داده IU X-Ray پیشنهاد  خواهد کرد. در مدل ResNet50-LSTM-Attention ابتدا از تصاوير پزشکي با استفاده از شبکه عصبی کانولوشنی ResNet-50 ويژگي ها استخراج خواهند شد و بوسيله ويژگي هاي استخراج شده و یک مدل چند برچسبی کلمات يک گزارش پيشبيني خواهند شد. در ادامه با استفاده از شبکه عصبی بازگشتی LSTM و لایه های توجه چندسر گزارش نهایی تولید می‌شود. در روش دوم یک مدل نوین تماما بر اساس مکانیسم توجه با نام Vision -Transformer پیشنهاد شده است. در مدل Vision -Transformer ابتدا ویژگی تصویر با استفاده از یک مدل ویژن ترانسفورمر استخراج و در گام بعد برای تولید گزارش در رمزگشای ترانسفورمر مورد استفاده قرار می گیرد. عملکرد مدل های پیشنهادی بر اساس معیارهای BLEU 1-4 و ROUGE-L و CIDEr-D مورد ارزیابی قرار گرفت. نتایج نشان داد مدل مبتنی بر LSTM از نظر معیار CIDEr-D بر مطالعات پیشین غلبه کرده است. به علاوه در مدل Vision -Transformer به دلیل استفاده از مکانیسم توجه ، عملکرد بهتری نسبت به مدل ResNet50-LSTM-Attention داشت. به طور خاص معیار BLEU 1 و ROUGE-L و CIDEr-D بترتیب به میزان 1.5 ، 2.8 و 4.9 درصد بهبود یافت.