اعتلاج شرطي

في نظرية المعلومات، تحدد الإنتروبيا الشرطية (أو الالتباس equivocation) كمية المعلومات اللازمة لوصف نتيجة متغير عشوائي $Y$ بالنظر إلى أن قيمة متغير عشوائي آخر $X$ معروف. هنا، يتم قياس المعلومات في شانون، ناتس، أو hartleys. انتروبيا $Y$ مشروطة $X$ مكتوب مثل $\mathrm {H} (Y|X)$ .

تعريف

يوضح مخطط فين العلاقات المضافة والطرحية مقاييس المعلومات المختلفة المرتبطة بالمتغيرات المرتبطة $X$ و $Y$ . المنطقة التي تحتوي عليها كلتا الدائرتين هي الانتروبيا المشتركة $\mathrm {H} (X,Y)$. الدائرة على اليسار (الأحمر والبنفسجي) هي الإنتروبيا الفردية $\mathrm {H} (X)$ ، مع انتروبيا الحمراء إنتروبيا مشروطة $\mathrm {H} (X|Y)$ . الدائرة على اليمين (الأزرق والبنفسجي) $\mathrm {H} (Y)$ ، مع المجال الأزرق $\mathrm {H} (Y|X)$ . البنفسج هو المعلومات المتبادلة $\operatorname {I} (X;Y)$ .

الانتروبيا الشرطية $Y$ بفرض $X$ يعرف بـ

$\mathrm {H} (Y|X)\ =-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}$ (Eq.1)

حيث ${\mathcal {X}}$ و ${\mathcal {Y}}$ تدل على مجموعات الدعم $X$ و $Y$ .

ملاحظة: من المعتاد أن تكون التعابير $0\log 0$ و $0\log c/0$ للإصلاح $c>0$ يجب أن تعامل على أنها تساوي الصفر. هذا بسبب $\lim _{\theta \to 0^{+}}\theta \,\log \,c/\theta =0$ و $\lim _{\theta \to 0^{+}}\theta \,\log \theta =0$

شرح بديهي للتعريف  : حسب التعريف ، $\displaystyle H(Y|X)=\mathbb {E} (\ f(X,Y)\ )$ حيث $\displaystyle f:(x,y)\ \rightarrow -\log(\ p(y|x)\ )$. $\displaystyle f$ مرتبطة بـ $\displaystyle (x,y)$ محتوى المعلومات $\displaystyle (Y=y)$ بفرض $\displaystyle (X=x)$ وهو مقدار المعلومات اللازمة لوصف الحدث $\displaystyle (Y=y)$ بفرض $(X=x)$ . وفقا لقانون الأعداد الكبيرة، $\displaystyle H(Y|X)$ هي المعنى الحسابي لعدد كبير من التحويلات المستقلة$\displaystyle f(X,Y)$.

انظر أيضًا

• إنتروبي (نظرية المعلومات)
• معلومات متبادلة
• دالة الإمكان