ترجمه مقاله یافتن خوشه هایی با اندازه، شکل و چگالی های مختلف در داده های آشفته با ابعاد بالا

چکیده

مساله یافتن خوشه ها در داده ها هنگامیکه خوشه ها با اندازه، شکل و چگالی های مختلف وجود دارند و هنگامیکه داده ها شامل میزان زیادی از داده های آشفته و پرت هستند چالش برانگیز می باشد. بسیاری از این مشکلات مخصوصا هنگامیکه داده ها با ابعاد بسیار بالا، مانند داده های متنی و سری زمانی وجود دارند، حتی قابل توجه تر می شوند. در این مقاله، ما یک تکنیک خوشه بندی جدید را ارائه می کنیم که این مشکلات را حل می کند. الگوریتم ما درابتدا نزدیکترین همسایه های هر نقطه داده را پیدا می کند و سپس شباهت بین هر جفت از نقاط را برحسب تعداد نزدیکترین همسایه ای که در دو نقطه مشترک هستند مجددا تعریف می کند. با استفاده از این تعریف شباهت، ما داده های آشفته و پرت را حذف می کنیم، نقاط محوری را شناسایی می کنیم و سپس خوشه ها را حول نقاط محوری می سازیم. استفاده از یک تعریف نزدیکترین همسایه مشترک شباهت مشکل چگالی متغیر را حل می کند، درحالیکه استفاده از نقاط مرکزی مشکل مربوط به شکل و اندازه را برطرف می-کند. به طور تجربی نشان می دهیم که الگوریتم ما بهتر از روش های سنتی (مانند K-میانگین) در انواع مجموعه داده ها، مانند داده های نفوذ شبکه KDD Cup '99، داده سری های زمانی علوم زمینی NASA و مجموعه نقاط دوبعدی، عمل می کند. درحالیکه الگوریتم ما می تواند خوشه هایی با چگالی بالا را همانند الگوریتم های خوشه بندی دیگر پیدا کند، می تواند خوشه هایی را که این روش ها نادیده می گیرند، یعنی خوشه هایی با چگالی پایین و متوسط را نیز پیدا کند، که این خوشه ها مهم هستند چونکه آن ها نواحی نسبتا یکنواخت احاطه شده توسط ناحیه های غیریکنواخت یا با چگالی بالاتر را ارائه می کنند. پیچیدگی زمان اجرای تکنیک ما است چونکه ماتریس شباهت باید ساخته شود. اما، تعدادی از بهینه سازی ها را بحث می کنیم که به الگوریتم کنترل مجموعه داده های بزرگ به طور موثر اجازه می دهند. برای مثال، 100000 سند از مجموعه TREC می-توانند در یک ساعت در یک کامپیوتر رومیزی خوشه بندی شوند.

چالش های تحلیل خوشه ای و کار مرتبط

یافتن خوشه هایی با شکل و اندازه مختلف، مخصوصا در حضور آشفتگی مساله ای است که جدیدترین الگوریتم-های خوشه بندی آن را حل کرده اند. برای داده هایی با ابعاد پایین [DBSCAN[3]، CURE[5 و [Chameleon[10 عملکرد خوبی را نشان داده اند. Chameleon در ابتدا یک فهرست از نزدیکترین همسایه-های هر نقطه را ایجاد می کند، یک نمودار شباهت وزنی را با استفاده از این نزدیکترین همسایه می سازد و سپس نمودار را برای به دست آوردن تکه های خوشه که در خوشه ها با یک تکنیک خوشه بندی متراکم ردیفی ادغام می شوند را تقسیم بندی می کند.

کار ما

در اینجا ما یک روش خوشه بندی را ارائه می کنیم که می تواند به طور همزمان چندین چالش خوشه بندی مهم برای انواع گسترده مجموعه داده ها را حل کند. به ویژه، الگوریتم ما درابتدا نزدیکترین همسایه های هر نقطه داده را پیدا می کند و سپس شباهت بین هر جفت از نقاط را برحسب تعداد نزدیکترین همسایه ای که در دو نقطه مشترک هستند مجددا تعریف می کند. با استفاده از این تعریف شباهت، ما داده های آشفته و پرت را حذف می کنیم، نقاط محوری را شناسایی می کنیم و سپس خوشه ها را حول نقاط محوری می سازیم. این خوشه ها شامل تمام نقاط نیستند، ولی درعوض گروه های نسبتا یکنواختی از نقاط را ارائه می کنند. استفاده از یک تعریف نزدیکترین همسایه مشترک شباهت مشکل چگالی متغیر را حل می کند، درحالیکه استفاده از نقاط مرکزی مشکل مربوط به شکل و اندازه را برطرف می کند. به علاوه، تعداد خوشه ها به طور خودکار تعیین می-شود، اگرچه پارامترهایی وجود دارند که تنظیم الگوریتم را فراهم می کنند.

ترجمه مقاله یافتن خوشه هایی با اندازه، شکل و چگالی های مختلف در داده های آشفته با ابعاد بالا

نماد اعتماد الکترونیکی

لوگوی رسانه‌های برخط

ترجمه مقاله یافتن خوشه هایی با اندازه، شکل و چگالی های مختلف در داده های آشفته با ابعاد بالا

ترجمه مقاله مطالعه DES مقایسه ای از تحول گرداب بازگشتی برای پروانه های کانالی و غیرکانالی

ترجمه مقاله قانون اصلاح وال استریت و حفاظت مصرف کننده داد-فرانک

ترجمه مقاله تولید هارمونیک های دوم و سوم برای یک تعلیق غیرآبکی از ذرات پوشش دار با ناهمسانگردی دی الکتریک شعاعی

ترجمه مقاله تاثیر سینتیک انباشتگی بر رسانندگی گرمایی محلول های کلوئیدی نانومقیاس (نانوسیال)

ترجمه مقاله عبارت های تحلیلی برای بهینه سازی چندهدفه عملیات DG مبتنی بر مبدل تحت شرایط شبکه نامتوازن

نماد اعتماد الکترونیکی

لوگوی رسانه‌های برخط