Handbook of Immune Response Genes

Tak W. Mak (Author), John J. L. Simard (Author)

Head First Agile A Brain-Friendly Guide to Agile and the PMI-ACP Certification

Andrew Stellman, Jennifer Greene

Modeling the Environment: Techniques and Tools for the 3D Illustration of Dynamic Landscapes

Bradley Cantrell, Natalie Yates

Reading Klein

Margaret Rustin, Michael Rustin

تشخیص حالات ظریف چهره با استفاده از روش بزرگنمایی حرکت اولر word

چکیده:

در این پایان نامه، روش جدیدی جهت تشخیص حالت‌های احساسی ظریف چهره ارائه می‌گردد. برای نمایان ساختن حرکات ظریف چهره از روش بزرگنمایی ویدئویی اولر استفاده شده است. روش بزرگنمایی ویدئویی اولر حرکات ظریف سیگنال‌ها (تغییر رنگ یا حرکت انتقالی)را با پردازش زمانی و مکانی تقویت می‌کند. ورودی این روش، ویدئوهایی از چهره اشخاص می‌باشد و نتیجه حاصل از آن به صورت دنباله تصاویر بزرگنمایی شده است. سپس نوع حالت احساسی دنباله تصاویر بزرگنمایی شده را با استفاده از چهره‌های ویژه بررسی نموده‌ایم. در این پژوهش، آزمایش بر روی 164 ویدئو از 16 شخص در پایگاه دادهاحساسات ظریف غیرارادی انجام گرفت. در ابتدا تشخیص تغییر در چهره به هنگام بروز حالات احساسی ظریف را بررسی کرده‌ایم. تغییر در چهره به طور میانگین به میزان %19/65 به هنگام بروز حالت منفی، %29/68 به هنگام بروز حالت مثبت و %75/69 به هنگام بروز حالت تعجب تشخیص داده شده است. همچنین تشخیص و تفکیک دو حالت مثبت و منفی در دنباله تصاویر مورد ارزیابی قرار داده‌ایم. همانطور که نتایج نشان می‌دهند دقت تشخیص کلی بین دو حالت منفی و مثبت با به کارگیری بزرگنمایی ویدئویی اولر برابر با % 66/66 می‌باشد. در حالی که بدون استفاده از این روش بزرگنمایی، تشخیص کلی به %00/50 کاهش می‌یابد. بنابراین استفاده از بزرگنمایی ویدئویی اولر در بازیابی حرکات نامحسوس چهره به هنگام بروز احساس، عملکرد روش تشخیص حالات احساسی ظریف مبتنی بر چهره‌های ویژه و همچنین تشخیص تغییر را بالا می‌برد.

کلمات کلیدی: تشخیص حالات احساسی ظریف چهره، تشخیص تغییر در چهره، روش بزرگنمایی ویدئویی اولر، روش چهره‌های ویژه

فهرست مطالب

عنوان صفحه

فهرست علایم..........س

فهرست جدول‌هاک

فهرست شکل‌ها..ل

فصل اول: مقدمه1

1-1 پیشگفتار.............................2

1-2 بیان مسئله‌ی تشخیص تغییر در تصویر.............................3

1-3 بیان مسئله‌ی تشخیص حالات احساسی چهره.............................4

1-4 هدف از این الگو و دستورالعمل5

فصل دوم:توضیح سیستم تشخیص حالات احساسی چهره7

2-1عوامل مؤثر بر تشخیص حالت احساسی چهره.......8

2-2 تقسیم سیستم‌های تحلیل حالت‌های چهره.......10

2-3متدولوژی تشخیص حالات احساسی.......10

2-4 تشخیص چهره و عملیات پیش پردازش.......12

2-5 استخراج ویژگی‌های احساسی.......12

2-5-1روش‌های مبتنی بر ویژگی هندسی.......12

2-5-2روش‌های مبتنی بر ظاهر.......13

2-6 کلاسه بندی احساسات.......15

2-6-1روش‌های مبتنی بر داوری.......16

2-6-2روش‌های مبتنی بر علامت.......16

فصل سوم: روش‌ها و پیشینه تحقیقات تشخیص حالات احساسی چهره.............17

3-1ویژگی‌های چهره.............18

3-2 تحلیل حالت‌های چهره.......19

3-3 مدل‌های تشخیص حالات احساسی چهره.......20

3-4مروری بر تحقیقات گذشته.......24

3-4-1 مروری بر پیشینه تشخیص حالات احساسی چهره بر اساس واحدهای حرکتی در سیستم FACS24

3-4-2 مروری بر پیشینه تشخیص حالات احساسی چهره بر اساس جریان نوری 28

3-4-3 مروری بر پیشینه تشخیص حالات احساسی چهره بر اساس چهره‌های ویژه و PCA 31

3-4-4 مروری بر پیشینه تشخیص حالات احساسی چهره بر اساس FCP32

3-4-5 مروری بر پیشینه تشخیص حالات احساسی چهره با استفاده از روش‌های مختلف دیگر32

3-4-6 مروری بر پیشینه تشخیص حالت چهره سه بعدی34

3-4-7 مروری بر پیشینه حالات احساسی ظریف چهره............................................................................................................36

3-5 پایگاه داده‌ها............................................................................................................................41

3-5-1 پایگاه داده Cohn-Kanade............................................................................................................................42

3-5-2 پایگاه داده AR............................................................................................................................43

3-5-3 پایگاه داده بیان احساسات MMI43

3-5-4 پایگاه داده احساس غیر ارادی............................................................................................................................44

3-5-5 پایگاه داده بیان احساسات زنان ژاپنی(JAFFE )44

3-5-6 پایگاه داده تشخیص احساس و ژست FG_Net45

3-5-7 پایگاه داده احساس چهره CMU AMP45

3-5-8 پایگاه داده سه بعدی حالات چهره45

3-5-9 پایگاه داده احساسات ظریف غیر ارادی (SMIC)47

فصل چهارم: تشخیص حالات احساسی چهره به روش چهره ویژه48

4-1 چهره‌های ویژه.................49

4-2 کلیات سیستم تشخیص چهره براساس چهره‌های ویژه.......50

4-3 محاسبه چهره‌های ویژه.......52

4-4 کاهش بعد در روش‌های مبتنی بر ظاهر52

4-5 تحلیل مؤلفه‌های اصلی....................53

4-6 محاسبه مقادیر و بردارهای ویژه در روش چهره‌های ویژه54

فصل پنجم: بزرگنمایی ویدئویی اولر برای بازیابی تغییرات ظریف در جهان.......56

5-1 بزرگنمایی ویدئویی اولر.......57

5-2 تحلیل چند مقیاسی.......64

5-3 مبحث حساسیت به نویز.......68

5-4 مقایسه روش بزرگنمایی ویدئویی اولر در مقابل روش لاگرانژى .......70

5-5 محاسبه خطا در روش بزرگنمایی ویدئویی اولر و روش لاگرانژى70

5-5-1 محاسبه خطا در روش بزرگنمایی ویدئویی اولر و روش لاگرانژى در حالت بدون نویز70

5-5-2 محاسبه خطا در روش بزرگنمایی ویدئویی اولر و روش لاگرانژى در حالت با نویز72

5-6 نتیجه گیری نهایی ........73

فصل ششم: روش پیشنهادی ........74

6-1 نمای کلی از پژوهش.......75

6-2 استفاده از چهره‌های ویژه در تشخیص حالات احساسی.......75

6-3 تشخیص حالات ظریف احساسی با به کار گیری روش بزرگنمایی ویدئویی اولر و روش چهره‌های ویژه 76

6-3-1 بررسی تشخیص تغییر در چهره به هنگام بروز حالات احساسی ظریف79

6-3-2 بررسی تشخیص حالات احساسی ظریف چهره (تنها یک حالت مثبت و منفی از هر شخص).......................86

6-3-3 بررسی تشخیص حالات احساسی ظریف چهره (چندین حالت مثبت و منفی از هر شخص)...................88

6-4 جمع‌بندی ....................90

مراجع........................ ..92

مراجع لاتین.......92

مراجع فارسی............102

چکیده انگلیسی............103

فهرست جدول‌ها

عنوان صفحه

جدول 3‑1. واحدهای حرکتی چهره در FACS..............................................................................................................25

جدول 5‑1. مقادیر α، ، و برای ویدئوهای مختلف67

جدول 6‑1. جمع بندی کلی تشخیص تغییر چهره در هر 3 حالت (منفی، مثبت و تعجب) در دو مجموعه داده83

جدول 6‑2. تشخیص دو حالت چهره (یک حالت مثبت و یک حالت منفی) 86

جدول 6‑3. درجه حساسیت، درجه تشخیص، دقت، میزان تشخیص کلی و نرخ خطا(یک حالت مثبت و یک حالت منفی)..............................................................................................................87

جدول 6‑4. تشخیص دو حالت چهره (چندین حالت مثبت و چندین حالت منفی)88

جدول 6‑5. درجه حساسیت، درجه تشخیص، دقت، میزان تشخیص کلی و نرخ خطا(چندین حالت مثبت و منفی)..............................................................................................................89

فهرست شکل‌ها

عنوان صفحه

شکل1‑1. تصویری از نمونه‌های تغییر تصویر3

شکل‏1‑2. شش حالت احساسی چهره5

شکل‏2‑1. ژست‌های مختلف از یک تصویر8

شکل‏2‑2. تصویر مسدود شده9

شکل‏2‑3. نورپردازی‌های متفاوت در تصویر9

شکل‏2‑4. بلوک دیاگرام تشخیص حالات احساسی11

شکل‏2‑5. دسته بندی روش‌های تشخیص حالات احساسی14

شکل3‑1. تشخیص احساس مبتنی بر مدل‌های پویا و انعطاف پذیر20

شکل‏3‑2. تشخیص احساس مبتنی بر مدل نوارهای حاشیه‌ای21

شکل‏3‑3. تشخیص احساس مبتنی بر مدل حرکت نقطه21

شکل3‑4. قاب‌های تعریف شده در مدل لبه-ویژگی22

شکل‏3‑5. مدل گراف personspotterو حذف پس زمینه22

شکل‏3‑6. تصویری از الگوریتم الگوی نسبت و الگوی نسبت مکانی23

شکل‏3‑7. کاربردی از الگوریتم الگوی نسبت و الگوی نسبت مکانی24

شکل3‑8. کدبندی‌های مربوط به نواحی حرکتی چهره26

شکل‏3‑9. نمونه‌ای از مدل درونیابی زمانی39

شکل‏3‑10. نرمال کردن چهره39

شکل3‑11. نمایش کلی از تشخیص حالات احساسی ظریف چهره به روش دورنیابی زمانی40

شکل‏3‑12. نمونه‌ای از تصاویر پایگاه داده FERET41

شکل‏3‑13. نمونه‌ای از تصاویر پایگاه داده Cohn-Kanade42

شکل‏3‑14. نمونه‌ای از تصاویر پایگاه داده AR43

شکل3‑15. نمونه‌ای از تصاویر پایگاه داده MMI44

شکل‏3‑16. نمونه‌ای از تصاویر پایگاه داده JAFFE45

شکل‏3‑17. نمونه‌ای از تصاویر پایگاه داده .BU-3DFE46

شکل‏3‑18. نمونه‌ای از تصاویر پایگاه داده SMIC47

شکل‏4‑1. مؤلفه‌های اصلی در داده‌های دو بعدی54

شکل‏5‑1. مثالی از چارچوب روش بزرگنمایی ویدئویی اولر جهت تجسم ضربان نبض انسان57

شکل‏5‑2. دیدگاهی از چارچوب بزرگنمایی ویدئویی اولر59

شکل‏5‑3. تأثیرات بزرگنمایی بر روی سیگنال یک بعدی61

شکل‏5‑4. بزرگنمایی نادرست حرکات به هنگام افزایش بیش از حد α63

شکل‏5‑5. رابطه بین فاکتور تقویت α و فرکانس مکانی63

شکل‏5‑6. نمونه‌هایی از ویدئو که با استفاده از روش بزرگنمایی ویدئویی اولر ارزیابی شده‌اند65

شکل‏5‑7. بزرگنمایی حرکت در یک دنباله از ویدئو از سایه خورشید66

شکل‏5‑8. به کارگیری روش بزرگنمایی ویدئویی اولر برای تقویت حرکات ظریف رگ‌های دست66

شکل‏5‑9. ادغام مکانی مناسب برای آشکارسازی سیگنال‌های مورد نظر69

شکل‏6‑1. نمای کلی از تشخیص حالات احساسی ظریف چهره با استفاده از روش چهره‌های ویژه78

شکل‏6‑2. نتیجه حاصل از اجرای روش بزرگنمایی ویدئویی اولر بر روی دنباله تصاویر80

شکل‏6‑3. نمودار حاصل از تشخیص تغییر چهره به هنگام بروز حالت منفی در دو مجموعه داده81

شکل‏6‑4. نمودار حاصل از تشخیص تغییر چهره به هنگام بروز حالت مثبت در دو مجموعه داده81

شکل‏6‑5. نمودار حاصل از تشخیص تغییر چهره به هنگام بروز حالت تعجب در دو مجموعه داده82

شکل‏6‑6. میانگین درصد تشخیص تغییر چهره به هنگام بروز سه حالت احساسی83

شکل‏6‑7. نمودار حاصل از عدم تشخیص تغییر چهره به هنگام بروز حالت منفی در دو مجموعه داده84

شکل‏6‑8. نمودار حاصل از عدم تشخیص تغییر چهره به هنگام بروز حالت مثبت در دو مجموعه داده.85

شکل‏6‑9. نمودار حاصل از عدم تشخیص تغییر چهره به هنگام بروز حالت تعجب در دو مجموعه داده..85

شکل‏6‑10. نمونه‌ای از تشخیص دو حالت مثبت و منفی با به کارگیری روش بزرگنمایی ویدئویی اولر..88

فهرست علایم

نشانه	علائم	نشانه	علائم
فاکتور تقویت حرکت	شدت تصویر در مکان x و زمانt	I(x,t)
طول موج قطع نویز	S(r)	مجموعه آموزش	Γ
فیلتر پایین گذر مکانی	تصویر چهره iام از مجموعه آموزشی
فیلترهای پایین گذر IIR	تصویر ناشناخته
فیلترهای پایین گذر IIR	میانگین تصویر
فیلتر پایین گذر مکانی	ماتریس کواریانس	C و
فرکانس مکانی	W	کسر هر تصویر از میانگین تصاویر
خطای روش بزرگنمایی لاگرانژى	تصویر	X
خطای روش بزرگنمایی ویدئویی اولر	ترانهاده ماتریس X
سرعت فریم دوربین	ماتریس تفاضل هر تصویر از میانگین تصاویر
سیگنال حرکتی تصویر	بردار ویژه	u و V
فیلتر زمانی	مقدار ویژه	و
شعاع	R	چهره ویژه
نویز در مکان x وزمانt	وزن تصویرiام
طرح حفظ محلیت	LPP	بردار وزنی برای تصویر iام
تحلیل جداساز خطی	LDA	مقدار آستانه
الگوی باینری محلی	LBP	احساسات ظریف غیر ارادی	SMIC
تابع پایه شعاعی	RBF	تشخیص حالات احساسی چهره	FER
پایگاه داده cohn-kanade	CK	واحد حرکتی	AU
حالات احساسی زنان ژاپنی	JFFE	سیستم کدبندی حرکات چهره	FACS
ماشین بردار پشتیبانی	SVM	تحلیل مؤلفه‌های اصلی	PCA
توزیع ویژگی سطح اولیه	PSFD	تحلیل اجزای مستقل	ICA
واحدهای پارامتری انیمیشنی چهره	FAPUs	نقاط مشخصه چهره	FCP
مدل شکل فعال	ASM	مجموعه فازی مفهومی	CFS
یادگیری هسته‌ای چندگانه	MKL	روش C میانگین فازی	FCM
مدل درونیابی زمانی	TIM	آنتروپی نسبی	KDL
دوربین سرعت بالا	HS	الگوی باینری گابور محلی	LGBP
دوربین نزدیک مادون قرمز	NIR	دوربین معمولی دیداری	VIS

فصل اول

مقدمه

1-1 پیشگفتار

تشخیص تغییر یکی از تحقیقات جدید در حوزه پردازش تصویر و بینایی ماشین بوده و در طی سال‌های اخیر روند رو به رشدی داشته است. تشخیص تغییر به صورت یک فرآیند تقسیم‌بندی زمانی است که در تصاویر و ویدئویی‌هایی که در طول زمان‌های مختلف گرفته شده‌اند، انجام می‌گیرد. تکنیک‌های تشخیص تغییر در تصویر یک نقش اساسی در نظارت تصویری، تصویر برداری پزشکی، تصویر برداری زیر آب و نظارت بر ترافیک برای شناسایی خودکار اشیاء و اهداف در حال حرکت است. یکی از کاربردهای مهم در این زمینه، تشخیص تغییر در چهره به هنگام بروز احساس می‌باشد که نقش مهمی در ارتباطات بشر دارد. بنابراین تشخیص حالات احساسی چهره (FER[1]) نه تنها توسط بسیاری از محققان روانشناسی مورد مطالعه قرار گرفته است بلکه در زمینه‌ای از علم کامپیوتر نیز مطرح شده است. دانشمندان کامپیوتر برای شناسایی و تشخیص حالات چهره واقعی انسان تلاش‌های فراوانی انجام داده‌اند.

حالات چهره نقش اساسی در ارتباطات کلامی و غیر کلامی و انتقال نظرات بین افراد بر عهده دارد. حالات چهره، بیانگر عمل‌ و عکس العمل‌هایی می‌باشدکه انسان نسبت به محیط اطراف خود بروز می‌نماید. شناسایی حالات چهره می‌تواند در بسیاری از زمینه‌های تحقیقاتی و کاربردی مفید باشد که از جمله آن‌ها می‌توان به لب خوانی، ویدئو کنفرانس، رباتیک، مطالعات روانشناسی و غیره اشاره کرد.

در شاخه رباتیک، ربات‌های انسان نمایی مطرح می‌شوند که با کاربر در تعامل هستند و خود را با حالت روحی او تطبیق می‌دهند. همچنین در شاخه روانشناسی، آزمون‌هایی در زمینه درمانی طراحی گردیده است که با نشان دادن تصاویر به شخص بیمار، واکنش‌های ایجاد شده در چهره وی بررسی شده و وضعیت روحی فرد تحلیل می‌شود. بحث شبیه سازی حالات احساسی چهره نیز در انیمیشن‌های تصویری و کارتونی حائز اهمیت می‌باشد. این موارد و کاربردهای گوناگون دیگر منجر به تحقیقات متعددی در این زمینه گردیده است.

 1-2 بیان مسئله‌ی تشخیص تغییر در تصویر

در این بخش ابتدا مسئله‌ی تشخیص تغییر به این صورت مطرح می‌شود هدف نهایی از تشخیص تغییر، شناسایی مجموعه پیکسل‌های متصل به هم در یک فریم که با فریم بعدی متمایز می‌باشند. مجموعه پیکسل‌ها، شامل ماسک تغییر هستند. هدف از این مسئله شناسایی این ماسک و بخش‌بندی پس‌زمینه می‌باشد.

این ماسک، ترکیبی از چند عامل اساسی، از جمله حرکت جسم نسبت به بیننده، تغییر شکل اشیاء و ظاهر آن‌ها و ناپدید شدن اشیاء خواهد بود. همچنین اشیاء می‌توانند با شدت نور متفاوت یا از نظر رنگ تغییر کنند. چالش اصلی این است که ماسک تغییر نباید شامل موارد نامعلوم و اشکال نادرست تغییر ناشی از حرکت دوربین، تغییرات نور و شرایط آب و هوایی باشد.

جهت تشخیص تغییر، M تصویر گرفته شده با دوربین در هر ثانیه به صورت نشان داده می‌شوند که هر پیکسل دارای مختصات و رنگ می‌باشد. مقادیرk و l وابسته به نوع تصویر است. به عنوان مثال برای تصاویر خاکستری و برای تصاویر RGB به کار می‌رود. همچنین برای تصاویر هوایی یا نظارت ماهواره‌ای و یا برای اطلاعات پزشکی یا بیولوژیکی در نظر گرفته می‌شود. تکنیک ریاضی تشخیص تغییر هر پیکسل برای تصویر ورودی به صورت زیر است"Chhabra et al., 2009"