زمستانهایی که بهار شدند؛ قصه پرفراز و نشیب هوش مصنوعی و قهرمانان آنقصه ما از سال ۱۹۴۳ شروع شد؛ زمانی که مککالوچ و پیتس ایده ساده شبیهسازی نورونهای مغز انسان را مطرح کردند. کمی بعد در سال ۱۹۵۷، فرانک روزنبلات با معرفی «پرسپترون» موجی از هیجان را در دنیا ایجاد کرد که به آن اولین عصر طلایی میگویند. اما این بهار کوتاه بود؛ در سال ۱۹۶۹، مینسکی و پاپرت نشان دادند که پرسپترونهای ساده حتی قادر به حل مسئله منطقی سادهای مثل XOR نیستند. اینجا بود که هوش مصنوعی وارد اولین زمستان تاریک خود شد و بودجههای تحقیقاتی قطع شدند.
اما دانشمندان عاشق، در همین زمستانهای سرد به کارشان ادامه دادند. در دهه هشتاد میلادی، جفری هینتون، روملهارتو ویلیامز با معرفی الگوریتم پسانتشار خطا (Backpropagation) دوباره نور امید را تاباندند. در پی آن، یان لکان شبکههای عصبی پیچشی (CNN) را برای تشخیص تصویر معرفی کرد و هوخرایتر و شمیدهوبر شبکههای LSTM را برای درک توالیها ساختند. هرچند به دلیل محدودیتهای سختافزاری آن زمان، یک رکود دیگر (زمستان دوم) هم در راه بود، اما این بذرها زیر برف زنده ماندند.
تا اینکه در سال ۲۰۱۲، با انفجار دادهها و قدرت کارتهای گرافیک، عصر طلایی سوم با مدل AlexNet توسط الکس کریزوسکی، سوتسکیور و هدایت جفری هینتون آغاز شد.
پس از آن، گودفلو شبکههای GAN را در سال ۲۰۱۴ معرفی کرد و در سال ۲۰۱۷، تیمی از محققان گوگل معماری انقلابی ترانسفورمرها را به میدان آوردند؛ همان هستهای که مدلهای زبانی بزرگ امروزی بر پایه آن بنا شدهاند تا هوش مصنوعی برای همیشه به بخشی جداییناپذیر از زندگی ما تبدیل شود.
اما دانشمندان عاشق، در همین زمستانهای سرد به کارشان ادامه دادند. در دهه هشتاد میلادی، جفری هینتون، روملهارتو ویلیامز با معرفی الگوریتم پسانتشار خطا (Backpropagation) دوباره نور امید را تاباندند. در پی آن، یان لکان شبکههای عصبی پیچشی (CNN) را برای تشخیص تصویر معرفی کرد و هوخرایتر و شمیدهوبر شبکههای LSTM را برای درک توالیها ساختند. هرچند به دلیل محدودیتهای سختافزاری آن زمان، یک رکود دیگر (زمستان دوم) هم در راه بود، اما این بذرها زیر برف زنده ماندند.
تا اینکه در سال ۲۰۱۲، با انفجار دادهها و قدرت کارتهای گرافیک، عصر طلایی سوم با مدل AlexNet توسط الکس کریزوسکی، سوتسکیور و هدایت جفری هینتون آغاز شد.
پس از آن، گودفلو شبکههای GAN را در سال ۲۰۱۴ معرفی کرد و در سال ۲۰۱۷، تیمی از محققان گوگل معماری انقلابی ترانسفورمرها را به میدان آوردند؛ همان هستهای که مدلهای زبانی بزرگ امروزی بر پایه آن بنا شدهاند تا هوش مصنوعی برای همیشه به بخشی جداییناپذیر از زندگی ما تبدیل شود.
۵سلام همراهان عزیز!
امروز میخواهم نظر و پیشنهادهای ارزشمند شما را درباره محتوای کانال بپرسم.
کانال از ۱۶ اردیبهشت ۱۴۰۵ شروع به کار کرد و میزبان بیش از ۱۴۰۰ نفر از شما عزیزان است.
هدف اصلی من در این کانالها، به اشتراکگذاری مفاهیم و نکات کاربردی ماشین لرنینگ و دیپ لرنینگ، معرفی منابع و کتابهای مفید، و اطلاعرسانی دورههای آموزشی آنلاین و آفلاین بوده است.
بیش از ۳۰ سال است که هرچه یاد میگیرم، به شوق آموزش دادن و انتقال آن به شما بوده است. در لابهلای انجام پروژهها، مشاورههای کاری و تدوین مطالب آموزشی، هر نکته جالبی که میبینم را با این امید منتشر میکنم که حتی اگر شده گره از کار یک نفر باز کند.
حالا از شما میخواهم نظراتتان را درباره مسیر طی شده به من بگویید. منتظر نظرات گرمتان هستم! لینک نظر سنجی در پایین :
امروز میخواهم نظر و پیشنهادهای ارزشمند شما را درباره محتوای کانال بپرسم.
کانال از ۱۶ اردیبهشت ۱۴۰۵ شروع به کار کرد و میزبان بیش از ۱۴۰۰ نفر از شما عزیزان است.
هدف اصلی من در این کانالها، به اشتراکگذاری مفاهیم و نکات کاربردی ماشین لرنینگ و دیپ لرنینگ، معرفی منابع و کتابهای مفید، و اطلاعرسانی دورههای آموزشی آنلاین و آفلاین بوده است.
بیش از ۳۰ سال است که هرچه یاد میگیرم، به شوق آموزش دادن و انتقال آن به شما بوده است. در لابهلای انجام پروژهها، مشاورههای کاری و تدوین مطالب آموزشی، هر نکته جالبی که میبینم را با این امید منتشر میکنم که حتی اگر شده گره از کار یک نفر باز کند.
حالا از شما میخواهم نظراتتان را درباره مسیر طی شده به من بگویید. منتظر نظرات گرمتان هستم! لینک نظر سنجی در پایین :
۶سلام به روی ماهتون.
عزیزانی که در دوره ماشین لرنینگ جامع که قراره از ۲۵ مرداد شروع شود ثبت نام کردند برای دریافت لینک کانال به من پیام دهند.
عزیزانی که در دوره ماشین لرنینگ جامع که قراره از ۲۵ مرداد شروع شود ثبت نام کردند برای دریافت لینک کانال به من پیام دهند.
۵شروع دوره آنلاین یادگیری ماشین از یکشنبه ۲۵ مردادپلتفرم برگزاری: گوگل میت مدرس: دکتر فرشید شیرافکن
این 18 امین دوره آنلاین در یک سال گذشته است و همچنین کامل ترین دوره موجود.
اطلاعات برگزاری: روزهای برگزاری:یکشنبهها و سهشنبهها تعداد جلسات:۱۰ جلسه ۲ ساعته ساعت برگزاری:۱۹:۰۰ الی ۲۱:۰۰
شهریه با احتساب ۵۰٪ تخفیف: ۶ میلیون تومان
این 18 امین دوره آنلاین در یک سال گذشته است و همچنین کامل ترین دوره موجود.
اطلاعات برگزاری:
روزهای برگزاری:یکشنبهها و سهشنبهها تعداد جلسات:۱۰ جلسه ۲ ساعته ساعت برگزاری:۱۹:۰۰ الی ۲۱:۰۰ شهریه با احتساب ۵۰٪ تخفیف: ۶ میلیون تومان
۲عزیزانی که در دوره دیپ لرنینگ تکمیلی که از ۲۶ مرداد شروع خواهد شد ثبت نام کردند برای دریافت لینک کانال به من پیام دهند
۵
علاقهمندان گرامی به حوزه پردازش زبان طبیعی (NLP)، یک دوره فشرده و کاربردی دو جلسهای (مجموعاً ۴ ساعت) با تمرکز بر مفاهیم کلیدی NLP، در تاریخهای دوشنبه و چهارشنبه همین هفته، از ساعت ۱۹:۰۰ تا ۲۱:۰۰ برگزار خواهد شد.
سرفصلهای دوره مطابق با تصویر پیوست شده است. این دوره ۲۸ نفر ظرفیت دارد و ۲۵ ظرفیت تکمیل شده است. تنها ۳ ظرفیت باقی مانده است!
شهریه کل دوره (۴ ساعت) فقط یک میلیون و ششصد هزار تومان.
سرفصلهای دوره مطابق با تصویر پیوست شده است. این دوره ۲۸ نفر ظرفیت دارد و ۲۵ ظرفیت تکمیل شده است. تنها ۳ ظرفیت باقی مانده است!
شهریه کل دوره (۴ ساعت) فقط یک میلیون و ششصد هزار تومان.
۳۰ نکته در رابطه با رگرسیون:
1. رگرسیون خطی رابطه بین متغیرهای مستقل و وابسته را به صورت یک خط مستقیم مدل سازی می کند.2. هدف اصلی در این روش حداقل کردن مجموع مربعات خطای بین مقادیر پیش بینی شده و واقعی است.3. فرض اساسی رگرسیون خطی وجود رابطه خطی بین ویژگی ها و متغیر هدف است.4. داده های پرت می توانند تاثیر مخرب و شدیدی روی خط برازش شده در رگرسیون خطی داشته باشند.5. هم خطی چندگانه بین متغیرهای مستقل باعث بی ثباتی ضرایب مدل می شود.6. برای حل مدل رگرسیون خطی می توان از روش های تحلیلی یا الگوریتم کاهش گرادیان استفاده کرد.7. مقیاس بندی ویژگی ها برای روش تحلیلی رگرسیون خطی الزامی نیست اما سرعت همگرایی در کاهش گرادیان را به شدت بهبود می دهد.8. رگرسیون چند جمله ای در واقع حالت خاصی از رگرسیون خطی چندگانه است.9. در رگرسیون چند جمله ای ویژگی های اولیه به توان های بالاتر برده می شوند تا روابط غیر خطی مدل شوند.10. با وجود غیر خطی بودن منحنی برازش شده، مدل همچنان نسبت به پارامترهای خود خطی محسوب می شود.11. انتخاب درجه چند جمله ای بسیار مهم است و به عنوان یک فراپارامتر کلیدی در نظر گرفته می شود.12. استفاده از درجات بالای چند جمله ای باعث می شود مدل تمام نقاط آموزشی را به دقت پیش بینی کند.13. این دقت بالا روی داده های آموزشی معمولا به قیمت افت شدید عملکرد روی داده های جدید تمام می شود که به آن بیش برازش می گویند.14. برای جلوگیری از بیش برازش در مدل های چند جمله ای استفاده از اعتبارسنجی متقاطع جهت یافتن درجه بهینه ضروری است.15. روش های منظم سازی می توانند به کنترل اندازه ضرایب در رگرسیون چند جمله ای کمک کنند.16. با افزایش درجه چند جمله ای، هم خطی بین ویژگی های جدید تولید شده به شدت افزایش می یابد.17. استفاده از منظم سازی ریج برای کنترل هم خطی ایجاد شده در ویژگی های چند جمله ای بسیار موثر است.18. بررسی باقیمانده ها راهی مطمئن برای سنجش اعتبار و کیفیت مدل رگرسیون است.19. باقیمانده ها در یک مدل رگرسیون خطی ایده آل باید توزیع نرمال با میانگین صفر داشته باشند.20. واریانس باقیمانده ها باید ثابت باشد که این ویژگی هم واریانسی نامیده می شود.21. اگر نمودار باقیمانده ها الگوی خاصی را نشان دهد، یعنی استفاده از مدل خطی ساده برای آن داده ها مناسب نبوده است.22. اضافه کردن متغیرهای جدید به مدل رگرسیون همیشه معیار ضریب تعیین را افزایش می دهد یا ثابت نگه می دارد.23. ضریب تعیین تعدیل شده معیار بهتری است زیرا اضافه کردن متغیرهای بی اثر به مدل را جریمه می کند.24. تولید ویژگی های چند جمله ای باعث افزایش سریع ابعاد مجموعه داده می شود.25. افزایش بیش از حد ابعاد می تواند مدل را با چالش نفرین ابعاد مواجه کند.26. نرمال سازی داده ها قبل از اعمال تبدیلات چند جمله ای به پایداری عددی محاسبات کمک زیادی می کند.27. برون یابی یا پیش بینی مقادیر خارج از محدوده داده های آموزشی در مدل های چند جمله ای بسیار پرخطر است.28. استفاده از مدل خطی ساده برای داده های پیچیده منجر به کم برازش می شود.29. مدل های رگرسیون خطی ساده معمولا بایاس بالا و واریانس پایین دارند.30. مدل های رگرسیون چند جمله ای با درجه بالا معمولا بایاس پایین و واریانس بسیار بالایی دارند.
1. رگرسیون خطی رابطه بین متغیرهای مستقل و وابسته را به صورت یک خط مستقیم مدل سازی می کند.2. هدف اصلی در این روش حداقل کردن مجموع مربعات خطای بین مقادیر پیش بینی شده و واقعی است.3. فرض اساسی رگرسیون خطی وجود رابطه خطی بین ویژگی ها و متغیر هدف است.4. داده های پرت می توانند تاثیر مخرب و شدیدی روی خط برازش شده در رگرسیون خطی داشته باشند.5. هم خطی چندگانه بین متغیرهای مستقل باعث بی ثباتی ضرایب مدل می شود.6. برای حل مدل رگرسیون خطی می توان از روش های تحلیلی یا الگوریتم کاهش گرادیان استفاده کرد.7. مقیاس بندی ویژگی ها برای روش تحلیلی رگرسیون خطی الزامی نیست اما سرعت همگرایی در کاهش گرادیان را به شدت بهبود می دهد.8. رگرسیون چند جمله ای در واقع حالت خاصی از رگرسیون خطی چندگانه است.9. در رگرسیون چند جمله ای ویژگی های اولیه به توان های بالاتر برده می شوند تا روابط غیر خطی مدل شوند.10. با وجود غیر خطی بودن منحنی برازش شده، مدل همچنان نسبت به پارامترهای خود خطی محسوب می شود.11. انتخاب درجه چند جمله ای بسیار مهم است و به عنوان یک فراپارامتر کلیدی در نظر گرفته می شود.12. استفاده از درجات بالای چند جمله ای باعث می شود مدل تمام نقاط آموزشی را به دقت پیش بینی کند.13. این دقت بالا روی داده های آموزشی معمولا به قیمت افت شدید عملکرد روی داده های جدید تمام می شود که به آن بیش برازش می گویند.14. برای جلوگیری از بیش برازش در مدل های چند جمله ای استفاده از اعتبارسنجی متقاطع جهت یافتن درجه بهینه ضروری است.15. روش های منظم سازی می توانند به کنترل اندازه ضرایب در رگرسیون چند جمله ای کمک کنند.16. با افزایش درجه چند جمله ای، هم خطی بین ویژگی های جدید تولید شده به شدت افزایش می یابد.17. استفاده از منظم سازی ریج برای کنترل هم خطی ایجاد شده در ویژگی های چند جمله ای بسیار موثر است.18. بررسی باقیمانده ها راهی مطمئن برای سنجش اعتبار و کیفیت مدل رگرسیون است.19. باقیمانده ها در یک مدل رگرسیون خطی ایده آل باید توزیع نرمال با میانگین صفر داشته باشند.20. واریانس باقیمانده ها باید ثابت باشد که این ویژگی هم واریانسی نامیده می شود.21. اگر نمودار باقیمانده ها الگوی خاصی را نشان دهد، یعنی استفاده از مدل خطی ساده برای آن داده ها مناسب نبوده است.22. اضافه کردن متغیرهای جدید به مدل رگرسیون همیشه معیار ضریب تعیین را افزایش می دهد یا ثابت نگه می دارد.23. ضریب تعیین تعدیل شده معیار بهتری است زیرا اضافه کردن متغیرهای بی اثر به مدل را جریمه می کند.24. تولید ویژگی های چند جمله ای باعث افزایش سریع ابعاد مجموعه داده می شود.25. افزایش بیش از حد ابعاد می تواند مدل را با چالش نفرین ابعاد مواجه کند.26. نرمال سازی داده ها قبل از اعمال تبدیلات چند جمله ای به پایداری عددی محاسبات کمک زیادی می کند.27. برون یابی یا پیش بینی مقادیر خارج از محدوده داده های آموزشی در مدل های چند جمله ای بسیار پرخطر است.28. استفاده از مدل خطی ساده برای داده های پیچیده منجر به کم برازش می شود.29. مدل های رگرسیون خطی ساده معمولا بایاس بالا و واریانس پایین دارند.30. مدل های رگرسیون چند جمله ای با درجه بالا معمولا بایاس پایین و واریانس بسیار بالایی دارند.
۷۵
سرفصل:
بخش اول: پردازش زبان طبیعی (NLP )- پیشپردازش و بازنمایی اولیه متن - توکنیزیشن (Tokenization)- مدل Bag of Words- تکنیک ارزیابی کلمات (TF-IDF)- فضای برداری و Cosine Similarity- مدل Word2Vec (CBOW و Skip-gram)- مدل GloVe- مدل FastText- نحوه استفاده از لایه Embedding در Keras
بخش دوم: شبکههای عصبی توالیدار - شبکههای عصبی بازگشتی (RNN)- چالش محو شدن گرادیان (Vanishing Gradient)- معماریهای پیشرفته بازگشتی (LSTM و GRU)- پیادهسازی پروژه تحلیل احساسات با LSTM- معماری دنباله به دنباله (Seq2Seq)
بخش سوم: معماری Transformer - مکانیزم توجه به خود (Self-Attention)- مکانیزم توجه چندسره (Multi-Head Attention)- کدگذاری موقعیتی (Positional Encoding)- ساختار بخشهای رمزگذار (Encoder) و رمزگشا (Decoder)
بخش چهارم: مدلهای پایه و مقدمه ای بر چند مفهوم - خانواده BERT (مدلهای مبتنی بر Encoder)- خانواده GPT (مدلهای مبتنی بر Decoder)- مهندسی پرامپت Prompt Engineering- روشهای PEFT (LoRA و QLoRA)- مفهوم RAG- معیارهای ارزیابی تولید متن (ROUGE, BLEU)
بخش اول: پردازش زبان طبیعی (NLP )- پیشپردازش و بازنمایی اولیه متن - توکنیزیشن (Tokenization)- مدل Bag of Words- تکنیک ارزیابی کلمات (TF-IDF)- فضای برداری و Cosine Similarity- مدل Word2Vec (CBOW و Skip-gram)- مدل GloVe- مدل FastText- نحوه استفاده از لایه Embedding در Keras
بخش دوم: شبکههای عصبی توالیدار - شبکههای عصبی بازگشتی (RNN)- چالش محو شدن گرادیان (Vanishing Gradient)- معماریهای پیشرفته بازگشتی (LSTM و GRU)- پیادهسازی پروژه تحلیل احساسات با LSTM- معماری دنباله به دنباله (Seq2Seq)
بخش سوم: معماری Transformer - مکانیزم توجه به خود (Self-Attention)- مکانیزم توجه چندسره (Multi-Head Attention)- کدگذاری موقعیتی (Positional Encoding)- ساختار بخشهای رمزگذار (Encoder) و رمزگشا (Decoder)
بخش چهارم: مدلهای پایه و مقدمه ای بر چند مفهوم - خانواده BERT (مدلهای مبتنی بر Encoder)- خانواده GPT (مدلهای مبتنی بر Decoder)- مهندسی پرامپت Prompt Engineering- روشهای PEFT (LoRA و QLoRA)- مفهوم RAG- معیارهای ارزیابی تولید متن (ROUGE, BLEU)
۶