دوره آموزش یادگیری عمیق

ویژگی های دوره آموزشی یادگیری عمیق (Deep Learning) با پایتون

• این دوره کاملا بصورت پروژه محور برگزار می گردد
• برگزاری کلاس ها بصورت کارگاهی می باشد
• بررسی مقالات روز در ارتباط با کاربردهای هر کدام از مدل ها
• امکان ارتباط با مدرس در طول دوره و بعد از اتمام دوره

اهداف دوره یادگیری عمیق

1. آموزش PyTorch
2. آموزش PyTorch Lightning
3. آموزش ساخت مدل‌های یادگیری ماشین
4. آموزش چالش‌های یک مسئله یادگیری عمیق
5. آموزش شبکه‌های CNN
6. آموزش شبکه‌های RNN، Bidirectional RNN، Stacked RNN، LSTM، GRU
7. آموزش Transfer Learning
8. آموزش ذخیره چک‌پوینت‌های مدل و استفاده در حین دیپلوی
9. آموزش شبکه‌های مولد Generative Adversarial Networks (GANs)
10. آموزش Self-Supervised Learning
11. آشنایی با مباحث روز در حوزه یادگیری عمیق (Diffusion Models، Cycle GANs، NLP، GPT-2، Hugging Face)

1. مفاهیم اصلی یادگیری عمیق
   • تعریف شبکه عصبی و یادگیری عمیق
   • معماری اصلی یک مدل یادگیری عمیق
   • تفاوت شبکه‌های عصبی (Neural Networks) با یادگیری عمیق (Deep Learning) چیست؟
   • تفاوت یادگیری ماشین با یادگیری عمیق از نظر معماری مدل ها
   • تفاوت یادگیری ماشین با یادگیری عمیق از نظر کاربرد
   • مفهوم feed forward در یک مدل یادگیری عمیق
   • توابع فعال سازی (Activation functions) و دلیل استفاده از آنها
   • انواع توابع فعال سازی (Activation functions) و کاربرد هرکدام از آنها
   • مفاهیم Backpropagation
   • چالش های یک مساله یادگیری عمیق
   • تاثیر تعداد لایه ها و تعداد نورون های هر لایه در overfitting و underfitting
   • مفهوم انفجار گرادیان (Exploding Gradients)
   • محوشدگی گرادیان (gradient vanishing)
2. معرفی PyTorch
   • دلیل انتخاب PyTorch
   • نصب و راه اندازی local
   • نحوه استفاده از سیستم های cloud based
   • مفهوم Tensor
   • Shape
   • Size
   • Reshape
   • کپی کردن تنسور
   • انواع روش های ساخت تنسور
   • لود کردن داده به تنسور
   • مفهوم Device در Tensor
   • لود کردن در Device های مختلف
   • تفاوت Tensor های موجود در CUDA یا GPU و CPU
   • انتقال Tensor بین CUDA و CPU
   • Data type در Tensor
   • تبدیل انواع نوع داده ها
   • تفاوت مهم Tensor با آرایه Numpy
   • تبدیل Tensor به آرایه Numpy
   • لود کردن دیتا از آرایه Numpy به Tensor
3. یک مساله رگرسیون ساده با استفاده از Numpy
   • ایجاد داده آموزشی
   • ضرایب اولیه رندوم
   • ساخت مدل
   • فرآیند آموزش با تکنیک کاهش گرادیان
   • تابع Loss
   • محاسبه گرادیان در هر مرحله
   • بروزرسانی وزن ها در هر مرحله
   • مصورسازی و ارزیابی مساله
4. یک مساله رگرسیون ساده با استفاده از PyTorch
   • ایجاد پارامتر
   • تفاوت پارامترهای یادگیرنده با پارامترهای غیر یادگیرنده (ویژگی requires_grad)
   • Autograd و Backward
   • نحوه استفاده از تابع grad در محاسبات کاهش گرادیان
   • دلیل استفاده از تابع zero_ در زمان بروز رسانی وزن ها
   • مفهوم torch.no_grad()
   • Updating Parameters
   • ساده سازی محاسبات با استفاده از Optimizer
   • توابع step و zero_grad
   • تابع Loss و لایه Loss در PyTorch
   • تبدیل مساله رگرسیون نوشته شده با Numpy به یک مدل PyTorch و آموزش آن
   • ساخت مساله قبلی با استفاده از مدل های آماده PyTorch با رویکرد شی گرا
   • تابع state_dict
   • تابع Forward در کلاس مدل
   • آموزش مدل در CPU
   • آموزش مدل با استفاده از منابع پردازشی کارت گرافیک (GPU)
   • Sequential Models
   • پیش بینی با استفاده از مدل
5. پروژه پیش بینی قیمت خانه های تهران با استفاده از یک مدل یادگیری عمیق چند لایه
   • ساخت یک مدل یادگیری عمیق چند لایه
   • مرور مفهوم Iterator در پایتون
   • ماژول و مفهوم Dataset در PyTorch
   • ماژول TensorDataset
   • مفاهیم Dataloader و Batch Gradient و چالش های مربوط به حافظه
   • آموزش مدل با استفاده از داده های خانه های تهران
   • ارزیابی مدل
   • مصورسازی میزان Loss در iteration های مختلف
   • TensorBoard
   • نصب TensorBoard
   • آموزش نحوه استفاده از TensorBoard
   • تحلیل نمودارهای TensorBoard
   • اضافه کردن قابلیت های بیشتر به TensorBoard از طریق کد نویسی
   • ذخیره سازی مدل
   • مفهوم Checkpoint
   • لود کردن مدل
   • شیوه استفاده از مدل در محل استقرار (Deploy Mode)
6. یک مساله دسته بندی (Classification) ساده
   • ساخت دیتاست آموزشی
   • آماده سازی دیتاست
   • ساخت یک مدل Binary Classification
   • مفهوم Logit
   • نگاشت خروجی مدل رگرسیون به خروجی احتمالی
   • مفهوم Odd Ratio و ساخت تابع Sigmoid
   • تابع فعالسازی Sigmoid و تاثیر آن در مدل
   • Loss Function های متناسب با Sigmoid
   • BCELoss
   • BCEWithLogitsLoss
   • آموزش مدل
   • ارزیابی مدل

1. Image Classification
   • ساخت دیتاست آموزشی
   • کانال ها در تصاویر و کد نویسی ساخت رنگ
   • نحوه خواندن عکس در PyTorch, TensorFlow (NCHW vs NHWC)
   • ماژول Torchvision و معرفی دیتاست های آن MNIST, CFAR, ImageNet
   • تبدیل عکس به tensor
   • هم مقیاس کردن داده (scale)
   • معرفی composer و روش های data augmentation
   • ساخت ماژول Dataset برای پروژه آموزشی
   • SubsetRandomSampler
   • WeightedRandomSampler
   • ساخت مدل
   • آموزش مدل
   • ارزیابی مدل با استفاده از نمودارهای مختلف و tensorboard
   • تابع فعالسازی Rectified Linear Unit (ReLU) و بررسی تاثیر آن در مدل
   • تابع فعالسازی Sigmoid و بررسی تاثیر آن در مدل
   • تابع فعالسازی Hyperbolic Tangent (TanH) و بررسی تاثیر آن در مدل
   • تابع فعالسازی Leaky ReLU و بررسی تاثیر آن در مدل
   • تابع فعالسازی Parametric ReLU (PReLU) و بررسی تاثیر آن در مدل
2. شبکه های پیچشی Convolutional Neural Network (CNN)
   • Filter / Kernel
   • لغزش کرنل روی ماتریس
   • Striding
   • Pooling
   • Padding
   • رابطه ریاضی shape تصویر بعد از هر Convolution
   • Convolving in PyTorch
   • Flattening
   • ساخت یک شبکه CNN (شبکه LeNet-5)
   • تغییر مدل classification از Binary Classification به Multiclass Classification
   • تابع فعالسازی Softmax و دلیل استفاده از آن در Multiclass Classification (ریاضیات تابع – دلیل و موارد استفاده)
   • تابع فعالسازی LogSoftmax و تفاوت آن با Softmax (ریاضیات تابع – دلیل و موارد استفاده)
   • تابع هزینه Negative Log-Likelihood Loss (ریاضیات تابع – دلیل و موارد استفاده)
   • تابع هزینه Cross-Entropy Loss (ریاضیات تابع – دلیل و موارد استفاده)
   • ساخت ماژول Dataset
   • ساخت مدل
   • تنظیمات مدل
   • آموزش مدل
   • ارزیابی مدل
   • تابع hook
   • بررسی لایه های مختلف convolution بصورت مصور و ارزیابی تاثیر هر لایه در شکل گیری feature map
3. پروژه بازی سنگ کاغذ قیچی (تشخیص حالات دست و تعیین نتیجه از روی تصاویر یا ویدیو)
   • بررسی و دانلود دیتاست
   • آماده سازی دیتا
   • نحوه فولدربندی و ذخیره سازی تصاویر در کامپیوتر
   • نحوه خواندن دیتاست تصویر از هارد
   • Resize کردن و تبدیل به tensor
   • استاندارد سازی دیتاست
   • نمایش تصاویر بعد از پیش پردازش
   • Convolution سه کاناله
   • ساخت مدل
   • Dropout
   • نمایش گرافیکی Dropout و بررسی تاثیرات آن و دلایل استفاده و موارد کاربرد آن
   • Dropout دو بعدی
   • تنظیمات مدل (Optimizer, Learning Rate, ...)
   • آموزش مدل و بررسی نتایج
   • جریمه کردن و بررسی تاثیر آن در بیش برازش (overfitting)
   • نمایش مصور خروجی فیلترهای CNN جهت درک عمیق نحوه ساخت Featur map توسط لایه های پیچشی
   • پیدا کردن هایپرپارامترهای مناسب مدل
   • Adaptive Learning Rate
   • Moving Average (MA)
   • EWMA
   • bias-corrected EWMA
   • Adapted gradient
   • بررسی جزئیات Adam Optimizer
   • بررسی جزئیات SGD Optimizer
   • Learning Rate Schedulers
   • Epoch Schedulers
   • Validation Loss Scheduler
   • Mini-Batch Schedulers
   • Scheduler Paths
4. پروژه: تشخیص بافت سرطانی با استفاده از کتابخانه Pytorch Lightning
   • ویژگی های Pytorch Lightning
   • ساخت یک مدل CNN با Pytorch Lightning
   • معرفی و جمع آوری دیتاست
   • Downsampling the dataset
   • ماژول Dataset و لود کردن دیتاست
   • Augmenting the dataset
   • پیکره بندی optimizer
   • پیکره بندی چرخه آموزش و تست
   • آموزش مدل
   • ارزیابی مدل
   • بهبود عملکرد مدل
5. یادگیری انتقالی (Transfer Learning)
   • معرفی دیتاست ImageNet
   • معرفی شبکه AlexNet
   • معرفی شبکه VGG
   • معرفی شبکه Inception
   • معرفی شبکه ResNet
   • مقایسه معماری ها از منظر خروجی
   • یادگیری انتقالی در عمل
   • مدل از قبل آموزش دیده
   • Adaptive Pooling
   • لود کردن وزن ها
   • فریز کردن مدل
   • Top of the Model
   • پیکره بندی مدل
   • آماده سازی داده
   • آموزش مدل
   • Auxiliary Classifiers
   • Batch Normalization
   • Batch Normalization, Mini-Batch Size, and Regularization
   • BatchNorm2d
   • Residual Connections
   • Residual Blocks
6. پروژه: استفاده از مدل آموزش دیده ResNet-50 جهت تشخیص بافت سرطانی
   • بررسی مجدد معماری ResNet-50
   • آماده سازی دیتاست
   • پیش پردازش دیتاست
   • ساخت ماژول Dataset
   • ساخت مدل
   • پیکره بندی optimizer
   • پیکره بندی چرخه آموزش و تست
   • آموزش مدل
   • ارزیابی مدل
   • بهبود عملکرد مدل

1. Recurrent Neural Networks (RNNs)
   • معماری و ریاضیات
   • RNN Cell
   • کد نویسی یک سلول RNN بدون استفاده از توابع و کلاس های آماده
   • مفهوم Hidden State و نمایش گرافیکی تاثیر آن
   • RNN Layer در PyTorch
   • Shapes
   • Stacked RNN
     • معماری
     • کد پایتون
     • ساخت مدل یا دیتاست آموزشی
     • مصورسازی نتایج و مراحل
     • بررسی کاربردها و موارد استفاده و مزایا و معایب
   • Bidirectional RNN
     • معماری
     • کد پایتون
     • ساخت مدل یا دیتاست آموزشی
     • مصورسازی نتایج و مراحل
     • بررسی کاربردها و موارد استفاده و مزایا و معایب
   • Square Model
     • معماری
     • کد پایتون
     • ساخت مدل یا دیتاست آموزشی
     • مصورسازی نتایج و مراحل
     • بررسی کاربردها و موارد استفاده و مزایا و معایب
   • Gated Recurrent Units (GRUs)
     • معماری
     • کد پایتون
     • ساخت مدل یا دیتاست آموزشی
     • مصورسازی نتایج و مراحل
     • بررسی کاربردها و موارد استفاده و مزایا و معایب
   • Long Short-Term Memory (LSTM)
     • معماری
     • کد پایتون
     • ساخت مدل یا دیتاست آموزشی
     • مصورسازی نتایج و مراحل
     • بررسی کاربردها و موارد استفاده و مزایا و معایب
   • LSTM Cell
   • LSTM Layer
   • Variable-Length Sequences
   • Padding
   • Packing
   • Unpacking (to padded)
   • Packing (from padded)
   • Variable-Length Dataset
   • آماده سازی دیتاست
   • ساخت مدل
   • پیکره بندی مدل و آموزش
   • 1D Convolutions
   • Multiple Features or Channels
   • Dilation
2. پروژه: پیش بینی بورس با داده های واقعی
   • آماده سازی دیتاست
   • ساخت ماژول Dataset
   • تعریف Dataloader
   • ساخت مدل RNN
   • آموزش مدل و مصورسازی نتایج
   • ساخت مدل BRNN
   • آموزش مدل و مصورسازی نتایج
   • ساخت مدل LSTM
   • آموزش مدل و مصورسازی نتایج
   • تحلیل نتایج و مقایسه مدل های مختلف
3. پروژه: پیش بینی حجم ترافیک
   • معرفی و تحلیل اکتشافی دیتاست
   • لود کردن دیتاست
   • پیش پردازش دیتاست
   • مهندسی ویژگی
   • جدا کردن دیتاست آموزشی و اعتبارسنجی و تست
   • ایجاد windows/sequencing
   • ساخت ماژول Dataset, Dataloader
   • ساخت مدل LSTM با استفاده از PyTorch Lightning
   • تعریف تابع loss
   • پیکره بندی optimizer
   • پیکره بندی چرخه آموزش
   • پیکره بندی چرخه ارزیابی
   • آموزش مدل
   • ارزیابی مدل با استفاده از Tensorboard
   • ذخیره چک پوینت های مدل
   • لود چک پوینت ها و تست مدل
   • مصورسازی نتایج
4. Sequence-to-Sequence
   • بیان مساله
   • تولید دیتاست آزمایشی
   • معماری Encoder-Decoder
   • ساخت مدل Encoder-Decoder
   • پیکره بندی و آموزش مدل
   • تحلیل متایج
   • مفهوم Attention
   • Values
   • "Keys" and "Queries"
   • محاسبه Context Vector
   • Scoring Method
   • Attention Scores
   • Scaled Dot Product
   • ساخت مدل Attention
   • Source Mask
   • ساخت Decoder
   • بررسی معماری و کد نویسی Encoder + Decoder + Attention
   • پیکره بندی و آموزش مدل
   • مصورسازی Attention, Prediction
   • Multi-Headed Attention
   • Wide vs Narrow Attention
   • Self-Attention
   • EncoderSelfAttn
   • Cross-Attention
   • DecoderSelfAttn
   • Attention Scores
   • Target Mask (Training)
   • Target Mask (Evaluation/Prediction)
   • بررسی معماری و کد نویسی Encoder + Decoder + Self-Attention
   • پیکره بندی و آموزش مدل
   • Visualizing Predictions
   • Positional Encoding (PE)
   • ریاضات مساله و کد نویسی PE
   • بررسی معماری و کد نویسی Encoder + Decoder + PE
   • پیکره بندی و آموزش مدل
   • Visualizing Predictions
   • Visualizing Attention
   • Self-Attention "Layers"
   • Attention Heads
   • Narrow Attention
   • Multi-Headed Attention
   • torch.bmm() vs torch.matmul()
   • Stacking Encoders and Decoders
   • Wrapping "Sub-Layers"
   • Transformer Encoder
   • Transformer Decoder
   • Layer Normalization
   • Batch vs Layer
   • Projections or Embeddings
   • Transformer
   • آماده سازی دیتاست
   • پیکره بندی و آموزش
   • مصورسازی نتایج
   • Vision Transformer
   • Special Classifier Token
   • Model Assembly

1. مدل های مولد
   • معرفی مدل های مولد
   • Generator
   • Discriminator
   • انواع مدل های GAN و کاربردها
2. پروژه: ساخت تصاویر بشقاب غذا با استفاده از GANs
   • لود کردن دیتاست
   • پیش پردازش (Resize, Center crop, Convert to tensors, Normalize)
   • مهندسی ویژگی ها
   • ساخت لایه های convolution
   • ساخت لایه fully connected
   • مدل generator
   • Transposed Convolution و Deconvolution
   • ساخت مدل GANs
   • تعریف تابع loss
   • پیکره بندی optimizer
   • پیکره بندی چرخه آموزش
   • ذخیره سازی تصاویر fake
   • آموزش مدل
   • ارزیابی مدل

1. مفاهیم
   • تعریف Self-Supervised Learning
   • Contrastive Learning
   • کاربردها
   • معماری SimCLR
2. پروژه: استفاده از SimCLR در راستای تشخیص تصاویر
   • آماده سازی دیتاست
   • پیش پردازش
   • data augmentation
   • لود کردن و نمایش دیتاست
   • پیکره بندی آموزش
   • تعریف تابع هزینه
   • ساخت encoder
   • SimCLR pipeline
   • آموزش مدل
   • استخراج ویژگی های از مدل SimCLR
   • تعریف و آموزش یک classifier
   • ارزیابی نتایج

1. Diffusion models
2. Cycle GANs
3. NLP
4. GPT2
5. Hugging Face