008_Tareas_opcionales.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "465c48e5-a857-4520-8019-7f322fe42cd7",
   "metadata": {},
   "source": [
    "# Tareas opcionales"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d2c057fe-e692-4c54-86f2-2d5d6ac3542c",
   "metadata": {},
   "source": [
    "### Entrenamiento supervisado en 4x4 para evaluar la capacidad de distintos modelos\n",
    "- Los GT estan generados del MDP tanto la value function como la PI\n",
    "- Se puede hacer data augmentaction con simetrías para que la red generalice mejor"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "af1cbe5b-2e1d-4c6c-9fa6-7d0d274267f8",
   "metadata": {},
   "source": [
    "### Cambiar el modelo default (MLP vs CNN)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9a170e56-871a-4351-8fbd-c5e3d36b1c35",
   "metadata": {},
   "source": [
    "![title](images/MLP_vs_CNN.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "27893775-59cb-4442-b2a3-ec3ffc7ff492",
   "metadata": {},
   "source": [
    "La celeste es CNN"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "bc561d6e-bdcc-4837-b8da-504198d8a75c",
   "metadata": {},
   "source": [
    "### Usar DQN en vez de PPO"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "21e0dad2-b513-4665-8257-1eedcbaa0867",
   "metadata": {},
   "source": [
    "![title](images/DQN_train.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f86ecc66-8eb7-403d-830a-5fa3c8f6d270",
   "metadata": {},
   "source": [
    "- La que converge más rápido solo se permiten acciones válidas tanto en el sampleo uniforme como en el argmax de la pi (recordar epsilon-greedy)\n",
    "- La que converge más lento el modelo tiene que aprender las acciones no válidas y tanto a nivel de sampleo como de argmax puedo tener acciones nó válidas que devuelven -1 de recompenza\n",
    "- La intermedia el sampleo es uniforme solo sobre las acciones válidas pero el argmax se hace sobre todas las posibles acciones de la PI"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "6a1b9188-2950-470c-b383-08e3187d6c3a",
   "metadata": {},
   "source": [
    "![title](images/PPO_vs_DQN.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d84061d0-a508-44a6-aa72-db16b046f65c",
   "metadata": {},
   "source": [
    "PPO esta por debajo de DQN"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c17f122e-03fe-496e-bc98-b5cdbf806f1f",
   "metadata": {},
   "source": [
    "### Otra estratégia para samplear válidas"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b3e65463-2ad2-4c9e-8a14-37905756e60b",
   "metadata": {},
   "source": [
    "- Se puede usar una estrategia donde en vez de pasarle la funcion que devuelve las válidas dado el estado, las válidas vayan como parte de la observación.\n",
    "- Esto es claramente más eficiente por que se evita el for sobre el batch\n",
    "- Ademas que como entrada queden por ejemplo unos en las posiciones válidas seguramente ayude en el entrenamiento del modelo"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "46e1ad94-5de0-4d7c-8f65-56ad78c4db13",
   "metadata": {},
   "source": [
    "### Entrenar GO en 9x9"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "21b3e9a1-7635-4dd1-8e13-9e7a7d0f466f",
   "metadata": {},
   "source": [
    "![title](images/GO_9x9_PPO.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2771ac4e-1451-4653-889b-9e42a988050e",
   "metadata": {},
   "source": [
    "Es interesante que casi que gana el 100% de las veces contra random"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9018a0a6-c7cf-4aec-ab13-172f1c691fe7",
   "metadata": {},
   "source": [
    "### Engines"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ca474c52-3223-4998-95c1-a7c1ed359cd5",
   "metadata": {},
   "source": [
    "Tanto a en GO como en Reversi existen engines que preentrenadas contra los cuales podemos evaluar nuestros modelos\n",
    "\n",
    "Ejemplos:\n",
    "\n",
    "- https://github.com/tom-weatherhead/thaw-reversi-engine\n",
    "- https://github.com/TheDuck314/go-NN"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.13"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}