دوره آموزش هوش مصنوعی(یادگیری ماشین و یادگیری عمیق)

مقدمه و مفاهیم اصلی

• مفهوم هوش مصنوعی، علم داده، یادگیری ماشین، یادگیری عمیق و Big Data
• بررسی شغل های عملی مرتبط با موضوع در ایران و جهان
• بررسی مهارت های مورد نیاز برای استخدام در شغل های مرتبط با علم داده در بازار ایران و جهان
• بررسی برخی کاربردها و پروژه های مطرح در حوزه موضوعات دوره
• تفاوت یادگیری ماشین کلاسیک و یادگیری عمیق
• بررسی ابزارهای مختلف علم داده
• انواع یادگیری: نظارت شده، غیرنظارت شده، نیمه نظارت شده ، خودنظارتی و تقویتی

آموزش کتابخانه numpy

• ساخت آرایه در numpy
• Indexing, Slicing, Iterating
• آرایه های چند بعدی
• دسترسی به عناصر آرایه با استفاده از numpy و اسلایسینگ
• تفاوت copy و view در آرایه numpy
• آموزش تابع reshape در numpy
• اتصال آرایه‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌ها در numpy | تابع concatenate
• تفکیک یک آرایه به چند آرایه
• جست و جو و مرتب سازی آرایه در numpy

کتابخانه pandas

• معرفیseries و بررسی تفاوت آن با آرایه و دیکشنری
• آموزش ساخت سری در کتابخانه pandas
• دیتافریم‌ (DataFrame) در کتابخانه Pandas
• آموزش ساخت Data Frame در Pandas
• ایندکس در پانداس
• دسترسی به المانهای دیتافریم (DataFrame) و slicing در Pandas
• ترکیب دیتافرم ها Concat and Append
• آموزش Groupby, Pivote در Pandas
• اکتشاف دیتاست EDA

آموزش کتابخانه Matplotlib و Seaborn برای رسم نمودار در پایتون

• معماری Matplotlib
• Pyplot
• ترسیم نمودارهای مختلف (Line chart, Pie chart, Scatter plot, …)
• اضافه کردن جزئیات بیشتر به نمودارها
• ترسیم چند نمودار باهمدیگر

آموزش مفاهیم و مدل های یادگیری ماشین کلاسیک

• ایجاد داده آموزشی
• ضرایب اولیه رندوم
• ساخت مدل
• فرآیند آموزش با تکنیک کاهش گرادیان
• تابع loss
• محاسبه گرادیان در هر مرحله
• بروزرسانی وزن ها در هر مرحله
• مصورسازی و ارزیابی مساله
• جداسازی داده به داده های آموزش، تست و ارزیابی
• آموزش معیارهای ارزیابی مدل های رگرسیون شامل MSE,SSE, MAE, MAPE, R2-score

آموزش مسائل classification با مدل Logistic regression

• معرفی مدل و بیان ریاضیات آن (تابع Sigmoid و تابع هزینه Cross Entropy)
• آموزش بکارگیری مدل و استفاده از آن برای مسائل پیش بینی
• تعریف و حل تمرین های کاربردی با مدل Logistic regression
• معرفی دیتاست های iris و دیابت

مفاهیم Overfitting & Underfitting

• تعریف مسئله
• تشریح دلیل رخ دادن بیش برازش و کم برازش
• چگونگی تشخیص Overfitting & Underfitting
• خطاهای مربوط به bias and variance problems
• شیوه برخورد و مقابله با Overfitting & Underfitting
• مفاهیم و ریاضیات Regularization

آموزش مدل های کاربردی یادگیری ماشین کلاسیک و ماژول های scikit learn

• آموزش نرمالسازی (Normalization) و استانداردسازی (Standardization)
• آموزش ماشین های بردار پشتیبان (SVM)
• آموزش توابع کرنل در ماشین های بردار پشتیبان (Kernelized Support vector machines)
• آموزش درخت تصمیم مدل Decision Trees
• الگوریتم جنگل تصادفی (Random Forest)
• آموزش معیارهای ارزیابی مدل های کلاسیفیکیشن accuracy, recall, precision, f1-score, confusion matrix, roc chart, auc score

مفاهیم اصلی یادگیری عمیق

• تعریف شبکه عصبی و یادگیری عمیق
• معماری اصلی یک مدل یادگیری عمیق
• تفاوت شبکه‌های عصبی (Neural Networks) با یادگیری عمیق (Deep Learning) چیست؟
• تفاوت یادگیری ماشین با یادگیری عمیق از نظر معماری مدل ها
• تفاوت یادگیری ماشین با یادگیری عمیق از نظر کاربرد
• مفهوم feed forward در یک مدل یادگیری عمیق
• توابع فعال سازی (Activation functions) و دلیل استفاده از آنها
• انواع توابع فعال سازی (Activation functions) و کاربرد هرکدام از آنها
• مفاهیم Backpropagation
• چالش های یک مساله یادگیری عمیق
• تاثیر تعداد لایه ها و تعداد نورون های هر لایه در overfitting و underfitting
• مفهوم انفجار گرادیان (Exploding Gradients)
• محوشدگی گرادیان (gradient vanishing)

معرفی pytorch

• دلیل انتخاب pytorch
• نصب و راه اندازی local
• نحوه استفاده از سیستم های cloud based
• مفهوم tensor
• Shape
• Size
• Reshape
• کپی کردن تنسور
• انواع روش های ساخت تنسور
• لود کردن داده به تنسور
• مفهوم Device در tensor
• لود کردن در Device های مختلف
• تفاوت tensor های موجود در cuda یا GPU و CPU
• انتقال tensor بین cuda و cpu
• Data type در tensor
• تبدیل انواع نوع داده ها
• تفاوت مهم tensor با آرایه numpy
• تبدیل tensor به آرایه numpy
• لود کردن دیتا از آرایه numpy به تنسور

یک مساله رگرسیون ساده با استفاده از pytorch

• ایجاد پارامتر
• تفاوت پارامترهای یادگیرنده با پارامترهای غیر یادگیرنده (ویژگی requires_grad )
• Autograd و backward
• نحوه استفاده از تابع grad در محاسبات کاهش گرادیان
• دلیل استفاده از تابع zero_ در زمان بروز رسانی وزن ها
• مفهوم torch.no_grad()
• Updating Parameters
• ساده سازی محاسبات با استفاده از Optimizer
• توابع step و zero_grad
• تابع loss و لایه loss در pytorch
• تبدیل مساله رگرسیون نوشته شده با numpy به یک مدل pytorch و آموزش آن
• ساخت مساله قبلی با استفاده از مدل های آماده pytorch با رویکرد شی گرا
• تابع state_dict
• تابع forward در کلاس مدل
• آموزش مدل در CPU
• آموزش مدل با استفاده از منابع پردازشی کارت گرافیک GPU
• Sequential Models
• پیش بینی با استفاده از مدل

• ساخت یک مدل یاگیری عمیق چند لایه
• مرور مفهوم iterator در پایتون
• ماژول و مفهوم Dataset در pytorch
• ماژول TensorDataset
• مفاهیم Dataloader و Batch gradiant و چالش های مربوط به حافظه
• آموزش مدل با استفاده از داده های خانه های تهران
• ارزیابی مدل
• مصورسازی میزان loss در iteration های مختلف
• TensorBoard
• نصب TensorBoard
• آموزش نحوه استفاده از TensorBoard
• تحلیل نمودارهای TensorBoard
• اضافه کردن قابلیت های بیشتر به TensorBoard از طریق کد نویسی
• ذخیره سازی مدل
• مفهوم check point
• لود کردن مدل
• شیوه استفاده از مدل در محل استقرار (Deploy mode)

• ساخت دیتاست آموزشی
• آماده سازی دیتاست
• ساخت یک مدل Binary Classification
• مفهوم logit
• نگاشت خروجی مدل رگرسیون به خروجی احتمالی
• مفهوم odd ratio و ساخت تابع sigmoid
• تابع فعالسازی sigmoid و تاثیر آن در مدل
• Loss function های متناسب با sigmoid
• BCELoss
• BCEWithLogitsLoss
• آموزش مدل
• ارزیابی مدل

• ساخت دیتاست آموزشی
• کانال ها در تصاویر و کد نویسی ساخت رنگ
• نحوه خواندن عکس در pytorch, tensorflow (NCHW vs NHWC)
• ماژول Torchvision و معرفی دیتاست های آن MNIST, CFAR, ImageNet
• تبدیل عکس به tensor
• هم مقیاس کردن داده (scale)
• معرفی composer و روش های data augmentation
• ساخت ماژول Dataset برای پروژه آموزشی
• SubsetRandomSampler
• WeightedRandomSampler
• ساخت مدل
• آموزشی مدل
• ارزیابی مدل با استفاده از نمودارهای مختلف و tensorboard
• تابع فعالسازی Rectified Linear Unit (ReLU) و بررسی تاثیر آن در مدل
• تابع فعالسازی Sigmoid و بررسی تاثیر آن در مدل
• تابع فعالسازی Hyperbolic Tangent (TanH) و بررسی تاثیر آن در مدل
• تابع فعالسازی Leaky ReLU و بررسی تاثیر آن در مدل
• تابع فعالسازی Parametric ReLU (PReLU) و بررسی تاثیر آن در مدل

• Filter / Kernel
• لغزش کرنل روی ماتریس
• Striding
• Pooling
• Padding
• رابطه ریاضی shape تصویر بعد از هر Convolution
• Convolving in PyTorch
• Flattening
• ساخت یک شبکه CNN (شبکه LeNet-5)
• تغییر مدل classification از Binary Classification به Multiclass Classification
• تابع فعالسازی Softmax و دلیل استفاده از آن در Multiclass Classification (ریاضیات تابع – دلیل و موارد استفاده)
• تابع فعالسازی LogSoftmax و تفاوت آن با Softmax (ریاضیات تابع – دلیل و موارد استفاده)
• تابع هزینه Negative Log-Likelihood Loss (ریاضیات تابع – دلیل و موارد استفاده)
• تابع هزینه Cross-Entropy Loss (ریاضیات تابع – دلیل و موارد استفاده)
• ساخت ماژول Dataset
• ساخت مدل
• تنظیمات مدل
• آموزش مدل
• ارزیابی مدل
• تابع hook
• بررسی لایه های مختلف convolution بصورت مصور و ارزیابی تاثیر هر لایه در شکل گیری feature map

• بررسی و دانلود دیتاست
• آماده سازی دیتا
• نحوه فولدربندی و ذخیره سازی تصاویر در کامپیوتر
• نحوه خواندن دیتاست تصویر از هارد
• Resize کردن و تبدیل به tensor
• استاندارد سازی دیتاست
• نمایش تصاویر بعد از پیش پردازش
• Convolution سه کاناله
• ساخت مدل
• Dropout
• نمایش گرافیکی Dropout و بررسی تاثیرات آن و دلایل استفاده و موارد کاربرد آن
• Dropout دو بعدی
• تنظیمات مدل (Optimizer, Learning Rate, ...)
• آموزش مدل و بررسی نتایج
• جریمه کردن و بررسی تاثیر آن در بیش برازش (overfitting)
• نمایش مصور خروجی فیلترهای CNN جهت درک عمیق نحوه ساخت Featur map توسط لایه های پیچشی
• پیدا کردن هایپرپارامترهای مناسب مدل
• Adaptive Learning Rate
• Moving Average (MA)
• EWMA
• bias-corrected EWMA
• Adapted gradient
• بررسی جزئیات Adam Optimizer
• بررسی جزئیات SGD Optimizer
• Learning Rate Schedulers
• Epoch Schedulers
• Validation Loss Scheduler
• Mini-Batch Schedulers
• Scheduler Paths

• ویژگی های Pytorch Lightning
• ساخت یک مدل CNN با Pytorch Lightning
• معرفی و جمع آوری دیتاست
• Downsampling the dataset
• ماژول Dataset و لود کردن دیتاست
• Augmenting the dataset
• پیکره بندی optimizer
• پیکره بندی چرخه آموزش و تست
• آموزش مدل
• ارزیابی مدل
• بهبود عملکرد مدل

یادگیری انتقالی (Transfer Learning)

• معرفی دیتاست ImageNet
• معرفی شبکه AlexNet
• معرفی شبکه VGG
• معرفی شبکه Inception
• معرفی شبکه ResNet
• مقایسه معماری ها از منظر خروجی
• یادگیری انتقالی در عمل
• مدل از قبل آموزش دیده
• Adaptive Pooling
• لود کردن وزن ها
• فریز کردن مدل
• Top of the Model
• پیکره بندی مدل
• آماده سازی داده
• آموزش مدل
• Auxiliary Classifiers
• Batch Normalization
• Batch Normalization, Mini-Batch Size, and Regularization
• BatchNorm2d
• Residual Connections
• Residual Blocks

• بررسی مجدد معماری ResNet-50
• آماده سازی دیتاست
• پیش پردازش دیتاست
• ساخت ماژول Dataset
• ساخت مدل
• پیکره بندی optimizer
• پیکره بندی چرخه آموزش و تست
• آموزش مدل
• ارزیابی مدل
• بهبود عملکرد مدل

• مقدمه ای بر object detection
• ایجاد bunding box ground true برای داده آموزش
• درک مفهوم region proposals
• درک مفهوم IOU
• درک مفهوم Non-max suppression
• معیار Mean average precision
• معماری مدل R-CNN
• پیاده سازی مدل R-CNN و آموزش مدل برای تشخیص اشیاء
  • دانلود دیتاست
  • آماده سازی دیتاست
  • پیاده سازی مدل R-CNN
  • آموزش مدل
  • پیش بینی آفست ها
  • تشخیص اشیاء با بکارگیری Non-max suppression
• معماری مدل R-CNN Fast و بررسی تفاوت های آن با R-CNN
• پیاده سازی مدل R-CNN Fast و آموزش مدل برای تشخیص اشیاء

اجزای مدل های مدرن تشخیص اشیاء

• Anchor Box
• Region proposal network
• Classification and regression
  • معماری مدل R-CNN Faster و بررسی تفاوت های آن با R-CNN Fast
  • آموزش مدل R-CNN Faster با دیتاست کاستوم
  • جزئیات مدل YOLO
  • آموزش مدل YOLO با دیتاست کاستوم

• معرفی شبکه U-Net
• اجرای Up-scale
• پروژه semantic segmentation با U-Net
• معرفی مدل Mask R-CNN
  • ROI Align
  • Mask head
• پروژه Instance segmentaion با Mask R-CNN

• معماری شبکه
• vanilla autoencoders
• convolutional autoencoders
• variational autoencoders

• معماری و ریاضیات
• RNN Cell
• کد نویسی یک سلول RNN بدون استفاده از توابع و کلاس های آماده
• مفهوم Hidden State و نمایش گرافیکی تاثیر آن
• RNN Layer در pytorch
• Shapes
• Stacked RNN
  • معماری و ریاضیات
  • RNN Cell
  • کد نویسی یک سلول RNN بدون استفاده از توابع و کلاس های آماده
  • مفهوم Hidden State و نمایش گرافیکی تاثیر آن
  • RNN Layer در pytorch
  • Shapes
  • Stacked RNN

• معماری
• کد پایتون
• ساخت مدل یا دیتاست آموزشی
• مصورسازی نتایج و مراحل
• بررسی کاربردها و موارد استفاده و مزایا و معایب

• معماری
• کد پایتون
• ساخت مدل یا دیتاست آموزشی
• مصورسازی نتایج و مراحل
• بررسی کاربردها و موارد استفاده و مزایا و معایب

• معماری
• کد پایتون
• ساخت مدل یا دیتاست آموزشی
• مصورسازی نتایج و مراحل
• بررسی کاربردها و موارد استفاده و مزایا و معایب

• معماری
• کد پایتون
• ساخت مدل یا دیتاست آموزشی
• مصورسازی نتایج و مراحل
• بررسی کاربردها و موارد استفاده و مزایا و معایب
  • LSTM Cell
  • LSTM Layer
  • Variable-Length Sequences
  • آماده سازی دیتاست
  • ساخت مدل
  • پیکره بندی مدل و آموزش

• آماده سازی دیتاست
• ساخت ماژول Dataset
• تعریف Dataloader
• ساخت مدل RNN
• آموزش مدل و مصورسازی نتایج
• ساخت مدل BRNN
• آموزش مدل و مصورسازی نتایج
• ساخت مدل LSTM
• آموزش مدل و مصورسازی نتایج
• تحلیل نتایج و مقایسه مدل های مختلف
• تعریف تابع loss
• پیکره بندی optimizer
• پیکره بندی چرخه آموزش
• پیکره بندی چرخه ارزیابی
• ارزیابی مدل با استفاده از Tensorboard
• ذخیره چک پوینت های مدل
• لود چک پوینت ها و تست مدل
• مصورسازی نتایج

Sequence-to-Sequence

• بیان مساله
• تولید دیتاست آزمایشی
• معماری Encoder-Decoder
• ساخت مدل Encoder-Decoder
• پیکره بندی و آموزش مدل
• تحلیل متایج
• مفهوم Attention
• Values
• "Keys" and "Queries"
• محاسبه Context Vector
• Scoring Method
• Attention Scores
• Scaled Dot Product
• ساخت مدل Attention
• Source Mask
• ساخت Decoder
• بررسی معماری و کد نویسی Encoder + Decoder + Attention
• پیکره بندی و آموزش مدل
• مصورسازی Attension, Prediction
• Multi-Headed Attention
• Wide vs Narrow Attention
• Self-Attention
• EncoderSelfAttn
• Cross-Attention
• DecoderSelfAttn
• Attention Scores
• Target Mask (Training)
• Target Mask (Evaluation/Prediction)
• بررسی معماری و کد نویسی Encoder + Decoder + Self-Attention
• پیکره بندی و آموزش مدل
• Visualizing Predictions
• Positional Encoding (PE)
• ریاضات مساله و کد نویسی PE
• بررسی معماری و کد نویسی Encoder + Decoder + PE
• پیکره بندی و آموزش مدل
• Visualizing Predictions
• Visualizing Attention
• Self-Attention "Layers"
• Attention Heads
• Narrow Attention
• Multi-Headed Attention
• torch.bmm() vs torch.matmul()
• Stacking Encoders and Decoders
• Wrapping "Sub-Layers"
• Transformer Encoder
• Transformer Decoder
• Layer Normalization
• Batch vs Layer
• Projections or Embeddings
• Transformer
• آماده سازی دیتاست
• پیکره بندی و آموزش
• مصورسازی نتایج
• Vision Transformer
• Special Classifier Token
• Model Assembly

مدل های مولد

• معرفی مدل های مولد
• Generator
• Discriminator
• انواع مدل های GAN و کاربردها

• لود کردن دیتاست
• پیش پردازش (Resize, Center crop, Convert to tensors, Normalize)
• مهندسی ویژگی ها
• ساخت لایه های convolution
• ساخت لایه fully connected
• مدل generator
• Transposed Convolution و Deconvolution
• ساخت مدل GANs
• تعریف تابع loss
• پیکره بندی optimizer
• پیکره بندی چرخه آموزش
• ذخیره سازی تصاویر fake
• آموزش مدل
• ارزیابی مدل

مفاهیم

• تعریف Self-Supervised Learning
• Contrastive Learning
• کاربردها
• معماری SimCLR

• آماده سازی دیتاست
• پیش پردازش
• data augmentation
• لود کردن و نمایش دیتاست
• پیکره بندی آموزش
• تعریف تابع هزینه
• ساخت encoder
• SimCLR pipeline
• آموزش مدل
• استخراج ویژگی های از مدل SimCLR
• تعریف و آموزش یک classifier
• ارزیابی نتایج

• Diffusion models
• Cycle GANs
• NLP
• GPT2
• Hugging face
• مدل clip
• آموزش بکارگیری LLM ها در کسب و کار شخصی
• آموزش LLM با داده های شخصی سازی شده و LLM fine tune