شناسایی پست های توهین آمیز توسط یاهو

وب سایت سایبربان: شرکت یاهو الگوریتمی را ایجاد کرد که می‌تواند عبارت‌های توهین‌آمیز در پست‌ها را به صورت خودکار شناسایی کند. امروزه ارسال پیام‌هایی با محتوای توهین‌آمیز و ترول در فضای مجازی، به موضوعی جدی تبدیل شده است و بسیاری از شرکت‌ها سعی دارند به روش‌های مختلف به مقابله با آن‌ها بپردازند. به عنوان مثال تعدادی از رسانه‌های اجتماعی قابلیتی را برای گزارش عبارت‌های توهین‌آمیز به خدمات خود اضافه کرده‌اند که در بیشتر موارد نا کارآمد هستند.

شرکت یاهو به‌تازگی ادعا کرد موفق به ایجاد یک الگویتم هوش مصنوعی شده است که می‌تواند پیام‌های آزاردهنده را به صورت خودکار شناسایی کند. این ابزار با استفاده از فناوری یادگیری ماشینی اقدام به شناسایی کلمات توهین‌آمیز می‌کند و برای این کار توسط هزاران پیام توهین‌آمیز و آزاردهنده‌ی موجود در وب‌گاه یاهو، تغذیه شده است.

برخلاف هوش مصنوعی‌های مشابه شناسایی متن‌ها، الگوریتم یاهو تنها روی کلمات تمرکز ندارد. پژوهشگران یاهو برای توسعه‌ی الگوریتم خود از نوعی فناوری به نام «کلمه تعبیه شده» (word embedding) استفاده کرده است. این فناوری در ایجاد نقشه‌ی برداری از کلمات برای پردازش‌های زبان طبیعی در سیستم‌ها استفاده می‌شود. این فناوری به الگوریتم یاهو کمک می‌کند تا بتواند ترکیبی از کلمات، محل قرارگیری آن را در جمله شناسایی و عبارت‌های بعدی را شناسایی کند. به‌عنوان مثال اگر کلمه‌ای به تنهایی توهین‌آمیز تلقی نشود؛ اما ترکیب آن با دیگر اجزای جمله یک مفهوم توهین‌آمیز را برساند.

نتایج آزمایش‌های انجام شده روی هوش مصنوعی جدید یاهو نشان می‌دهد، الگوریتم آن‌ها در ۹۰ درصد موارد عبارت‌های توهین‌آمیز را به درستی تشخیص داده است.

پژوهشگران معتقدند الگوریتم مذکور می‌تواند روند کنترل پیام‌ها را برای وبگاه‌ها ساده‌تر کند. این الگوریتم می‌تواند پیام‌های مذکور را قبل از نمایش بررسی کرده و در صورت لزوم آن‌ها را حذف یا سانسور کند. الگوریتم مذکور هنوز تکمیل و عرضه نشده و تنها در داده‌های موجود یاهو مورد آزمایش قرار گرفته است.