پیکواد، پیکرهای برای کمک به پژوهش بر روی درک مطلب ماشینی و توسعه سیستمهای پرسش و پاسخ به زبان فارسی
رونمایی از "سایت دادگان" پیکرههای هوش مصنوعی
به گزارش مرکز ارتباطات و اطلاع رسانی معاونت علمی، فناوری و اقتصاد دانش بنیان، در دنیای دیجیتالی اهمیت دادهها و اطلاعات بسیار بیش از گذشته برای کسبوکارها مشخص و نمایان شده، به طوریکه بسیاری از کارشناسان و فعالان حوزه کلان دادهها و دادهها از آنها به عنوان یک منبع درآمدزایی بزرگ در سطح منابع انرژی یاد میکنند. در جهان کسبوکار امروز این دادهها هستند که کسبوکارها را جهتدهی میکنند و به عنوان نقشه راهی برای آینده آنها عمل میکنند.
دنیای امروز دنیای دادهها است. به وجود آمدن شبکههای اجتماعی و رشد اینترنت نیز باعث شد که به انفجار داده برسیم. به حدی که داده کاوی به یک علم مهم در دنیای امروز تبدیل شود.استخراج اطلاعات مهم از بین انبوهی از دادهها و رسیدن به یک بینش درست یکی از تخصصهای بسیار مهم است که برای بقای کسب و کارهایی که با کلان دادهها سر و کار دارند اهمیت بسیاری دارد که میتوان با توسعه دادن هوش مصنوعی، از آن برای استخراج دادهها و داده کاوی هوشمند استفاده کرد
به گزارش مرکز ارتباطات و اطلاع رسانی معاونت علمی، فناوری و اقتصاد دانش بنیان، در دنیای دیجیتالی اهمیت دادهها و اطلاعات بسیار بیش از گذشته برای کسبوکارها مشخص و نمایان شده، به طوریکه بسیاری از کارشناسان و فعالان حوزه کلان دادهها و دادهها از آنها به عنوان یک منبع درآمدزایی بزرگ در سطح منابع انرژی یاد میکنند. در جهان کسبوکار امروز این دادهها هستند که کسبوکارها را جهتدهی میکنند و به عنوان نقشه راهی برای آینده آنها عمل میکنند.
به طور مثال دادههای رفتار خریداران و مصرفکنندگان یک سامانه فروشگاهی میتواند به صاحبان کسبوکار نشان دهد که خریداران و مصرفکنندگان دقیقاً به چه چیزهایی نیاز دارند و نسبت به همین دادهها و اطلاعات اقدام به تأمین نیازهای مشتریان خود کند. مثالهایی که تعداد آنها بسیار زیاد و متنوع هستند
از این روی استخراج اطلاعات مهم از بین انبوهی از دادهها و رسیدن به بینشی درست یکی از تخصصهای بسیار مهم است که برای بقای کسب و کارهایی که با کلان دادهها سر و کار دارند اهمیت بسیاری دارد که میتوان با توسعه دادن هوش مصنوعی، از آن برای استخراج دادهها و داده کاوی هوشمند استفاده کرد.
در همین راستا، ستاد اقتصاد دانشبنیان دیجیتال نیز برنامه ویژهای را در جهت استخراج، دستهبندی و استفاده از این دادهها برای کسبوکارها و نهادهای مختلف در دستور کار خود قرار داد که نتیجه این تلاشها به طراحی و بهرهبرداری از سایتی به نام دادگان انجامید. سامانهای که با کمک هوش مصنوعی و ابزارهای مرتبط به این فناوری جدید و به روز اقدام به جمعآوری دادهها و کلان دادهها کرده و در نهایت به ارتقاء سطح کمی و کیفی کسب و کارها کمک شایانی میکند.
در ادامه این گزارش به بررسی و معرفی بخشهای مختلف سایت دادگان میپردازیم و مشخصاً متوجه میشویم که سایت دادگان قرار است چطور و چگونه به نیازهای فعالان حوزه کلان دادهها کمک کند.
پیکواد، پیکرهای برای کمک به پژوهش بر روی درک مطلب ماشینی و توسعه سیستمهای پرسش و پاسخ به زبان فارسی
پیکواد یک مجموعه داده برای درک مطلب ماشینی به زبان فارسی است. این مجموعه شامل 80 هزار سوال به همراه پاسخ آنها است. سوالات پیکواد از مقالات ویکیپدیای فارسی استخراج شدهاند. جمع کل پاراگرافها ۱۱هزارتا است که به ۱۱۲۵ مقاله تعلق دارد و طیف وسیعی از موضوعها را پوشش میدهند. پیکواد به عنوان یک مجموعه داده درک مطلب ماشینی نیاز به یک سیستم پرسش و پاسخ دارد تا یک متن را بخواند و سپس سوالات مطرح شده از آن متن را پاسخ بدهد. هدف از انتشار این مجموعه داده کمک به پژوهش بر روی درک مطلب ماشینی و توسعه سیستمهای پرسش و پاسخ به زبان فارسی است. از لحاظ ساختاری میتوان گفت پیکواد شباهتهایی به برخی قابلیتهای نرمافزار هوش مصنوعی چت جیپیتی (GPT) دارد.
پیکره و ماژول مشابهتیابی معنایی جمالت با استفاده از فناوری هوش مصنوعی
یکی دیگر از بخشهای سامانه دادگان پیکره و ماژول مشابهتیابی معنای جمالت است. هدف این پروژه ایجاد یک پیکره شباهت معنایی برای زبان فارسی است. در اینجا، منظور از شباهت معنایی فاصله معنایی بین دو جمله است، یعنی این که دو جمله از نظر محتوای واژگانی و موضوع کلی تا چه اندازه به هم شبیه یا از هم متفاوت هستند.
پیکره و فناوری گفتگوی روزمره زبان فارسی
بخش سوم سامانه دادگان پیکره و فناوری گفتگوی روزمره زبان فارسی است. این پیکره، اولین پیکره زبان فارسی دیالوگ های فیلم و سریال های ایرانی به زبان فارسی است و مناسب برای فناوری گفتگوی روزمره فارسی است که در رباتهای مجازی هوشمند ایرانی مورد استفاده قرار می گیرد
به گفته مسئولین این سامانه، پیکره فیلم وسریال دارای 100034 گفته است که به این عدد باید تعداد 1289283 گفته پیکره شبکه های مجازی را نیز اضافه کرد که در میان سرویسهای فارسی آمار خوبی محسوب میشود. شایان ذکر است دادگان برای راستیآزمایی دادههای جمعآوری شده، علاوه بر ارزیابی های مبتنی بر هوش مصنوعی ارزیابی مرحله قبلی توسط هر برچسب زن انجام شده و به صورت تصادفی نمونه هایی از هر مرحله مورد ارزیابی قرار گرفته است.
پیکره محاوره به رسمی:
بخش چهارم و پایانی این سامانه نیز پیکره محاوره به رسمی است که کاربردهای بسیار زیادی خواهد داشت. در این پروژه حدود ۵۰ هزار جمله محاوره به معادل رسمی آنها تبدیل شده اند. پیکره حاصله شامل 50 هزار زوج جمله محاوره ای- رسمی و همترازی کلمات آنهاست. به عبارت دیگر علاوه بر زوج جمالت معادل، برای هر جمله محاوره ای مشخص شده کدام کلمه یا عبارت آن، معادل با کدام کلمه یا عبارت در جمله رسمی است.
جملات محاوره ای از منابعی چون شبکه های اجتماعی مانند اینستاگرام و توئیتر، پیام رسانها مانند تلگرام و واتساپ، صفحات وب، وبلاگ ها، کتاب ها و فیلم هاجمع آوری شده یا توسط خود داده آمارها تولید شدهاند.
در این پیکره تقریبا نیمی از جملات محاوره ای از ساختار نحوی رسمی برخوردار نبوده و برای تبدیل آنها به شکل رسمی علاوه بر تغییر واژه های محاوره ای نیاز به اصلاح ساختار دستوری نیز بوده است.
پیاده سازی هوش مصنوعی بدون دادگان مناسب امکان پذیر است ؟
هوش مصنوعی در واقع همان علمی است که به ماشینها کمک میکند تا همانند یک انسان هوشمند رفتار کنند و بتوانند وظایف مختلفی را اجرا کنند. هوشمند شدن هوش مصنوعی نیز به وسیله داده اتفاق میافتد. به این صورت که برای اینکه هوش مصنوعی بتواند یک مشکل در حوزهای خاص را حل کند، دادهها و اطلاعات مربوط به آن را جمع آوری میکند تا از آنها برای آموزش سیستم استفاده کند.
به گفته مسئولین این سامانه، در این برهه از زمان که کاربست فناوریهای دیجیتال، در تمامی ساحات زندگی بشر جلوهگر شده، ضرورت توجه متمرکز به آنان با وضوح بیشتری نسبت به گذشته بر همگان عیان گردیده است . بنابراین مرکز توسعه فناوری های نو ظهور دیجیتال در نظر دارد با حمایت وکمک به توسعه زیر ساخت های این فناوری های جدید عرصه را برای حضور و توسعه زیست بوم دانش بنیان فراهم نماید .
علاقهمندان میتوانند برای کسب اطلاعات و آگاهی از قابلیتهای این سایت به آدرس https://data-edt.ir/ مراجعه کنند.
ارسال به دوستان