Similarity_BERT.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "Similarity_BERT.ipynb",
      "provenance": [],
      "collapsed_sections": [],
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    },
    "accelerator": "GPU",
    "widgets": {
      "application/vnd.jupyter.widget-state+json": {
        "0d67a3502dfd4726873758e1ade6bd1b": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HBoxModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_ba0bfcf1041a4dd9bb3bab35310aae94",
              "IPY_MODEL_f8a4ae79de9744d1b344561e462bcbe9",
              "IPY_MODEL_c92419997c254f97a9aee8d8e28fb5cb"
            ],
            "layout": "IPY_MODEL_dba7a05a0f014edcaac2e4aedec8a848"
          }
        },
        "ba0bfcf1041a4dd9bb3bab35310aae94": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_c2c3e0640292436692cc9f828b45a7ee",
            "placeholder": "​",
            "style": "IPY_MODEL_4e0275fe12a44c54b8afeb12e03f7192",
            "value": "Downloading: 100%"
          }
        },
        "f8a4ae79de9744d1b344561e462bcbe9": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "FloatProgressModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_fa39653d540f43848fb7ef6f5410312c",
            "max": 62,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_435ba77e5f6b46ca84389244e53cddf2",
            "value": 62
          }
        },
        "c92419997c254f97a9aee8d8e28fb5cb": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_a30cb088478546e28772ac48b7ae6b4d",
            "placeholder": "​",
            "style": "IPY_MODEL_0280bc3e7ad94124a1e47519ed935a78",
            "value": " 62.0/62.0 [00:00&lt;00:00, 1.73kB/s]"
          }
        },
        "dba7a05a0f014edcaac2e4aedec8a848": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "c2c3e0640292436692cc9f828b45a7ee": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "4e0275fe12a44c54b8afeb12e03f7192": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "fa39653d540f43848fb7ef6f5410312c": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "435ba77e5f6b46ca84389244e53cddf2": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ProgressStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "a30cb088478546e28772ac48b7ae6b4d": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "0280bc3e7ad94124a1e47519ed935a78": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "e2b68306a94b471f973bb848e2a630c6": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HBoxModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_32e66d63c9b34f2a9dcacd7eae5cdbdd",
              "IPY_MODEL_8ee9cc4934a44eaf9fc710254fe566f6",
              "IPY_MODEL_94ddd196c31044609aacf311594bdaff"
            ],
            "layout": "IPY_MODEL_758ddd89972f4a2d95507b32f8c02a2a"
          }
        },
        "32e66d63c9b34f2a9dcacd7eae5cdbdd": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_6b1d2db289564ae7a8206025797aa0fe",
            "placeholder": "​",
            "style": "IPY_MODEL_0dcd6544b6614737966725eedb6c666b",
            "value": "Downloading: 100%"
          }
        },
        "8ee9cc4934a44eaf9fc710254fe566f6": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "FloatProgressModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_b6f2db880c664c4ebdba26b1ee8f7de9",
            "max": 491,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_bb08b85e430d45ef93ec885238883539",
            "value": 491
          }
        },
        "94ddd196c31044609aacf311594bdaff": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_55baff50b2d8440e8d5c0e35a50e81d9",
            "placeholder": "​",
            "style": "IPY_MODEL_346656a828d6439cbcee1108939d8c5a",
            "value": " 491/491 [00:00&lt;00:00, 5.63kB/s]"
          }
        },
        "758ddd89972f4a2d95507b32f8c02a2a": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "6b1d2db289564ae7a8206025797aa0fe": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "0dcd6544b6614737966725eedb6c666b": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "b6f2db880c664c4ebdba26b1ee8f7de9": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "bb08b85e430d45ef93ec885238883539": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ProgressStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "55baff50b2d8440e8d5c0e35a50e81d9": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "346656a828d6439cbcee1108939d8c5a": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "fc1e88e2c722452f9ccd9d4724a7bec2": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HBoxModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_9404858647d84e77914527820b84516c",
              "IPY_MODEL_946005bd20da44119730a0ef3c51d7c6",
              "IPY_MODEL_446571cb3add4c1a841b169f8214de41"
            ],
            "layout": "IPY_MODEL_430ecb7837de455f90c5c54f00ced4de"
          }
        },
        "9404858647d84e77914527820b84516c": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_3481cc8b360c45ddaa3eddf3c40561cb",
            "placeholder": "​",
            "style": "IPY_MODEL_97a15cc578574abfb62fbb3b8cb2564a",
            "value": "Downloading: 100%"
          }
        },
        "946005bd20da44119730a0ef3c51d7c6": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "FloatProgressModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_8f494e71c65742c4902db262930143ad",
            "max": 333770,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_bc5ab67ffde04ca6b1631e5f4626d8fa",
            "value": 333770
          }
        },
        "446571cb3add4c1a841b169f8214de41": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_10e869d55bb7470281dddf0b1f8eeb80",
            "placeholder": "​",
            "style": "IPY_MODEL_36fdd45d20e44d25b295501b01746028",
            "value": " 326k/326k [00:00&lt;00:00, 1.25MB/s]"
          }
        },
        "430ecb7837de455f90c5c54f00ced4de": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "3481cc8b360c45ddaa3eddf3c40561cb": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "97a15cc578574abfb62fbb3b8cb2564a": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "8f494e71c65742c4902db262930143ad": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "bc5ab67ffde04ca6b1631e5f4626d8fa": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ProgressStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "10e869d55bb7470281dddf0b1f8eeb80": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "36fdd45d20e44d25b295501b01746028": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "a0170e7ed7ec4d3a9579a37a06e963bc": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HBoxModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_bee6bddc35694c559dc8552d43f6ed65",
              "IPY_MODEL_c70d56cc8a114dac9d1074aed01950bd",
              "IPY_MODEL_cef83067bada431cb1dd97db4d84a896"
            ],
            "layout": "IPY_MODEL_6ee3f45ae90d41649c6ac2755db584a9"
          }
        },
        "bee6bddc35694c559dc8552d43f6ed65": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_44673ee38b4e410f85c0f9ae7b634ea2",
            "placeholder": "​",
            "style": "IPY_MODEL_2c7811266ac24e318840ce1abf94c49d",
            "value": "Downloading: 100%"
          }
        },
        "c70d56cc8a114dac9d1074aed01950bd": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "FloatProgressModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_fa63c494a2614d5792be0be39f4e2a78",
            "max": 112,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_6f456133c2cc4d7c8ce006ad8f43841c",
            "value": 112
          }
        },
        "cef83067bada431cb1dd97db4d84a896": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_20d0beaacff548079245cfc15b5b3f86",
            "placeholder": "​",
            "style": "IPY_MODEL_a27767dc48c94fa5b38f8c99b73e1105",
            "value": " 112/112 [00:00&lt;00:00, 1.74kB/s]"
          }
        },
        "6ee3f45ae90d41649c6ac2755db584a9": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "44673ee38b4e410f85c0f9ae7b634ea2": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "2c7811266ac24e318840ce1abf94c49d": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "fa63c494a2614d5792be0be39f4e2a78": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "6f456133c2cc4d7c8ce006ad8f43841c": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ProgressStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "20d0beaacff548079245cfc15b5b3f86": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "a27767dc48c94fa5b38f8c99b73e1105": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "c83c32ba12884e3f8ca92ec985964990": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HBoxModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_7262394cf2be48c8a9ab217bb0fb1f5f",
              "IPY_MODEL_c1f4d018393e41f399b80a6c526cedd2",
              "IPY_MODEL_d227aaf3372c4c9dbc5b7f29dc61f7c0"
            ],
            "layout": "IPY_MODEL_d7dada9580cf430080807ffbb2b45063"
          }
        },
        "7262394cf2be48c8a9ab217bb0fb1f5f": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_082e258eb668463f8a43fa4cc9e9e17f",
            "placeholder": "​",
            "style": "IPY_MODEL_e84e735c06804690a0087fc89bbe1c3c",
            "value": "Downloading: 100%"
          }
        },
        "c1f4d018393e41f399b80a6c526cedd2": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "FloatProgressModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_2c652ae19b254cba980d89561f12feb1",
            "max": 445014353,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_be935dab755646bbab33fade42fb3445",
            "value": 445014353
          }
        },
        "d227aaf3372c4c9dbc5b7f29dc61f7c0": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_037d6389ffd94f088702401b17923d03",
            "placeholder": "​",
            "style": "IPY_MODEL_ef8fa84da5e440e981e07f633fcf96fe",
            "value": " 424M/424M [00:17&lt;00:00, 27.6MB/s]"
          }
        },
        "d7dada9580cf430080807ffbb2b45063": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "082e258eb668463f8a43fa4cc9e9e17f": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "e84e735c06804690a0087fc89bbe1c3c": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "2c652ae19b254cba980d89561f12feb1": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "be935dab755646bbab33fade42fb3445": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ProgressStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "037d6389ffd94f088702401b17923d03": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "ef8fa84da5e440e981e07f633fcf96fe": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "305bcaaad7f944efbbcc49ae561228c5": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "VBoxModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "VBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "VBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_80759ab096f5415b86a1aa656d57d512",
              "IPY_MODEL_b2b3363657884ba5ae387bcd809a6b3b",
              "IPY_MODEL_7320aa4a4727438fa53204b3b514cf7d",
              "IPY_MODEL_30b3be2c2d9a445a9d2ba3bb6347ad3d",
              "IPY_MODEL_11a55cdc92dc4478b4ae91b2b3653e4d"
            ],
            "layout": "IPY_MODEL_13f55ae20d02428a9666457cf22d6127"
          }
        },
        "80759ab096f5415b86a1aa656d57d512": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_d5656838424946d1be01b4d03d7efb63",
            "placeholder": "​",
            "style": "IPY_MODEL_82dff0f0ac9840549b1dddff94d6c729",
            "value": "<center> <img\nsrc=https://huggingface.co/front/assets/huggingface_logo-noborder.svg\nalt='Hugging Face'> <br> Copy a token from <a\nhref=\"https://huggingface.co/settings/tokens\" target=\"_blank\">your Hugging Face\ntokens page</a> and paste it below. <br> Immediately click login after copying\nyour token or it might be stored in plain text in this notebook file. </center>"
          }
        },
        "b2b3363657884ba5ae387bcd809a6b3b": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "PasswordModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "PasswordModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "PasswordView",
            "continuous_update": true,
            "description": "Token:",
            "description_tooltip": null,
            "disabled": false,
            "layout": "IPY_MODEL_133d8857c7de4c1d997cce43038e14fc",
            "placeholder": "​",
            "style": "IPY_MODEL_24a266875029425db8ee762ac23e813b",
            "value": ""
          }
        },
        "7320aa4a4727438fa53204b3b514cf7d": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ButtonModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ButtonModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ButtonView",
            "button_style": "",
            "description": "Login",
            "disabled": false,
            "icon": "",
            "layout": "IPY_MODEL_5f34b20c3a6e4fbbb3cbe6c54ce0daa6",
            "style": "IPY_MODEL_1e81d2d4d0a84d12a8d0aa3abd8143f7",
            "tooltip": ""
          }
        },
        "30b3be2c2d9a445a9d2ba3bb6347ad3d": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_6f6fad7eb7ba41f7b1db21a90574ed14",
            "placeholder": "​",
            "style": "IPY_MODEL_8fc174922b254977b334ede206857afc",
            "value": "\n<b>Pro Tip:</b> If you don't already have one, you can create a dedicated\n'notebooks' token with 'write' access, that you can then easily reuse for all\nnotebooks. <br> <i>Logging in with your username and password is deprecated and\nwon't be possible anymore in the near future. You can still use them for now by\nclicking below.</i> </center>"
          }
        },
        "11a55cdc92dc4478b4ae91b2b3653e4d": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ButtonModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ButtonModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ButtonView",
            "button_style": "",
            "description": "Use password",
            "disabled": false,
            "icon": "",
            "layout": "IPY_MODEL_e17a1b6aab5e45c78abacb44e8968204",
            "style": "IPY_MODEL_9543af95da964c1cb82082da6e91b522",
            "tooltip": ""
          }
        },
        "13f55ae20d02428a9666457cf22d6127": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": "center",
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": "flex",
            "flex": null,
            "flex_flow": "column",
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": "50%"
          }
        },
        "d5656838424946d1be01b4d03d7efb63": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "82dff0f0ac9840549b1dddff94d6c729": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "133d8857c7de4c1d997cce43038e14fc": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "24a266875029425db8ee762ac23e813b": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "5f34b20c3a6e4fbbb3cbe6c54ce0daa6": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "1e81d2d4d0a84d12a8d0aa3abd8143f7": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ButtonStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ButtonStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "button_color": null,
            "font_weight": ""
          }
        },
        "6f6fad7eb7ba41f7b1db21a90574ed14": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "8fc174922b254977b334ede206857afc": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "e17a1b6aab5e45c78abacb44e8968204": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "9543af95da964c1cb82082da6e91b522": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ButtonStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ButtonStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "button_color": null,
            "font_weight": ""
          }
        }
      }
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/pam-lab/JupyterFiles/blob/main/Similarity_BERT.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "!nvidia-smi"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "DGN9O0G3uxvE",
        "outputId": "31bc23c9-2f3d-4a08-8e06-69132f6038e7"
      },
      "execution_count": 1,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Thu Jun  9 07:42:46 2022       \n",
            "+-----------------------------------------------------------------------------+\n",
            "| NVIDIA-SMI 460.32.03    Driver Version: 460.32.03    CUDA Version: 11.2     |\n",
            "|-------------------------------+----------------------+----------------------+\n",
            "| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |\n",
            "| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |\n",
            "|                               |                      |               MIG M. |\n",
            "|===============================+======================+======================|\n",
            "|   0  Tesla T4            Off  | 00000000:00:04.0 Off |                    0 |\n",
            "| N/A   67C    P0    30W /  70W |      0MiB / 15109MiB |      0%      Default |\n",
            "|                               |                      |                  N/A |\n",
            "+-------------------------------+----------------------+----------------------+\n",
            "                                                                               \n",
            "+-----------------------------------------------------------------------------+\n",
            "| Processes:                                                                  |\n",
            "|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |\n",
            "|        ID   ID                                                   Usage      |\n",
            "|=============================================================================|\n",
            "|  No running processes found                                                 |\n",
            "+-----------------------------------------------------------------------------+\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# Data Loading and processing"
      ],
      "metadata": {
        "id": "O67Vn__gWwG8"
      }
    },
    {
      "cell_type": "code",
      "execution_count": 2,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "ZiTZi38tNA-R",
        "outputId": "5e7fbdb7-4764-434d-e8bd-c3b56eb3cd45"
      },
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "fatal: destination path 'course-nlp-ir-1-text-exploring' already exists and is not an empty directory.\n"
          ]
        }
      ],
      "source": [
        "!git clone https://github.com/language-ml/course-nlp-ir-1-text-exploring"
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "import random \n",
        "import nltk\n",
        "import pandas as pd\n",
        "import codecs\n",
        "import tqdm\n",
        "\n",
        "# show full verse\n",
        "pd.set_option('display.max_colwidth', None)\n",
        "\n",
        "quranic_dir = \"/content/course-nlp-ir-1-text-exploring/exploring-datasets/religious_text\"\n",
        "df_quran = pd.read_csv(f'{quranic_dir}/quranic_data/id_text_with_orthographies.txt', sep='\\t', header=None)\n",
        "df_nahj = pd.read_csv(f'{quranic_dir}/nahj-al-balaqa/Nahj Al-Balaqa.txt', sep='\\t',header=None)\n",
        "verse_complete_dict = pd.Series(df_quran[1].tolist(), index=df_quran[0]).to_dict()\n",
        "nahj_complete_dict = pd.Series(df_nahj[1].tolist(), index=df_nahj[0]).to_dict()"
      ],
      "metadata": {
        "id": "qqOLyjhGS3cx"
      },
      "execution_count": 3,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "from pathlib import Path\n",
        "import re\n",
        "sahife_text=Path(f'{quranic_dir}/Saheefa/sahife_sajjadieh.txt').read_text().split('\\n')\n",
        "sahife_complete_dict = [re.sub('[(][۰-۹]+[)]','', item) for item in sahife_text if item.startswith('(')]"
      ],
      "metadata": {
        "id": "XQ5yonDq5RmL"
      },
      "execution_count": 4,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "sahife_complete_dict[12]"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 36
        },
        "id": "zYmWmMuZ6NKq",
        "outputId": "6e4a2e66-c905-47e0-a44e-f6cc196060b1"
      },
      "execution_count": 5,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "' حَمْداً یَرْتَفِعُ مِنَّا إِلَی أَعْلَی عِلِّیِّینَ فِي کِتَابٍ مَرْقُومٍ یَشْهَدُه\\u200cُ الْمُقَرَّبُونَ. '"
            ],
            "application/vnd.google.colaboratory.intrinsic+json": {
              "type": "string"
            }
          },
          "metadata": {},
          "execution_count": 5
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "nahj_complete_dict['2##186']"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 36
        },
        "id": "cCiaD8k30_CF",
        "outputId": "476a4b6f-09b5-4787-906d-cc87c6e99d76"
      },
      "execution_count": 6,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "'وَ قَالَ ع لِلظّالِمِ الباَدیِ غَداً بِکَفّهِ عَضّةٌ'"
            ],
            "application/vnd.google.colaboratory.intrinsic+json": {
              "type": "string"
            }
          },
          "metadata": {},
          "execution_count": 6
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "verse_complete_dict['2##186']"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 36
        },
        "id": "hG44UkxzTSj_",
        "outputId": "f166ff6e-3e50-4919-ce99-e9d771bfa67f"
      },
      "execution_count": 7,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "'وَإِذَا سَأَلَكَ عِبَادِي عَنِّي فَإِنِّي قَرِيبٌ ۖ أُجِيبُ دَعْوَةَ الدَّاعِ إِذَا دَعَانِ ۖ فَلْيَسْتَجِيبُوا لِي وَلْيُؤْمِنُوا بِي لَعَلَّهُمْ يَرْشُدُونَ'"
            ],
            "application/vnd.google.colaboratory.intrinsic+json": {
              "type": "string"
            }
          },
          "metadata": {},
          "execution_count": 7
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "### Normalize"
      ],
      "metadata": {
        "id": "x0Qok8hCW-MM"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "pip install -Uq camel_tools"
      ],
      "metadata": {
        "id": "dWoFs-Z7VNhh"
      },
      "execution_count": 8,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "from camel_tools.utils.normalize import normalize_unicode\n",
        "from camel_tools.utils.normalize import normalize_alef_maksura_ar\n",
        "from camel_tools.utils.normalize import normalize_alef_ar\n",
        "\n",
        "from camel_tools.utils.normalize import normalize_alef_bw\n",
        "from camel_tools.utils.normalize import normalize_alef_hsb\n",
        "\n",
        "from camel_tools.utils.normalize import normalize_teh_marbuta_ar\n",
        "from camel_tools.utils.dediac import dediac_ar\n",
        "\n",
        "def normalize_arabic(sentence):\n",
        "\n",
        "    # Normalize alef variants to 'ا'\n",
        "    sent_norm = normalize_unicode(sentence)\n",
        "    \n",
        "    sent_norm = normalize_alef_bw(sent_norm)\n",
        "    # Normalize alef variants to 'ا'\n",
        "    sent_norm = normalize_alef_ar(sentence)\n",
        "\n",
        "    # Normalize alef maksura 'ى' to yeh 'ي'\n",
        "    sent_norm = normalize_alef_maksura_ar(sent_norm)\n",
        "\n",
        "    # Normalize teh marbuta 'ة' to heh 'ه'\n",
        "    sent_norm = normalize_teh_marbuta_ar(sent_norm)\n",
        "    return dediac_ar(sent_norm)"
      ],
      "metadata": {
        "id": "SBZgSk_qVfPf"
      },
      "execution_count": 9,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "from camel_tools.utils import normalize\n",
        "\n",
        "\n",
        "verse_complete_dict_nrmlz = {k:normalize_arabic(v) for k,v in tqdm.tqdm(verse_complete_dict.items())}\n",
        "nahj_complete_dict_nrmlz = {k:normalize_arabic(v) for k,v in tqdm.tqdm(nahj_complete_dict.items())}\n",
        "sahife_complete_dict_nrmlz = [normalize_arabic(item) for item in tqdm.tqdm(sahife_complete_dict)]"
      ],
      "metadata": {
        "id": "PgTbrIJQV6Do",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "72f25706-8558-4544-e9df-b7aeeb26889f"
      },
      "execution_count": 10,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "100%|██████████| 6236/6236 [00:00<00:00, 15798.89it/s]\n",
            "100%|██████████| 800/800 [00:00<00:00, 3508.95it/s]\n",
            "100%|██████████| 924/924 [00:00<00:00, 7711.61it/s]\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "print(verse_complete_dict['2##186'])\n",
        "print(verse_complete_dict_nrmlz['2##186'])\n",
        "\n",
        "print(nahj_complete_dict['2##186'])\n",
        "print(nahj_complete_dict_nrmlz['2##186'])\n",
        "\n",
        "print(sahife_complete_dict[34])\n",
        "print(sahife_complete_dict_nrmlz[34])"
      ],
      "metadata": {
        "id": "VhfSxrvmWDYr",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "bc950c74-2c0b-4312-deae-1d6137c97ca2"
      },
      "execution_count": 11,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "وَإِذَا سَأَلَكَ عِبَادِي عَنِّي فَإِنِّي قَرِيبٌ ۖ أُجِيبُ دَعْوَةَ الدَّاعِ إِذَا دَعَانِ ۖ فَلْيَسْتَجِيبُوا لِي وَلْيُؤْمِنُوا بِي لَعَلَّهُمْ يَرْشُدُونَ\n",
            "واذا سالك عبادي عني فاني قريب ۖ اجيب دعوه الداع اذا دعان ۖ فليستجيبوا لي وليؤمنوا بي لعلهم يرشدون\n",
            "وَ قَالَ ع لِلظّالِمِ الباَدیِ غَداً بِکَفّهِ عَضّةٌ\n",
            "و قال ع للظالم البادی غدا بکفه عضه\n",
            " وَ کَاشَفَ فِي الدُّعَاءِ إِلَیْکَ حَامَّتَه‌ُ \n",
            " و کاشف في الدعاء الیک حامته‌ \n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "quranic_tokenized = [sents.split() for sents in tqdm.tqdm(verse_complete_dict_nrmlz.values())]\n",
        "nahj_tokenized = [sents.split() for sents in tqdm.tqdm(nahj_complete_dict_nrmlz.values())]\n",
        "sahife_tokenized = [sents.split() for sents in tqdm.tqdm(sahife_complete_dict_nrmlz)]"
      ],
      "metadata": {
        "id": "MPLCLAWyWvJ7",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "c6725631-8a75-4be1-9197-e1e998e35868"
      },
      "execution_count": 12,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "100%|██████████| 6236/6236 [00:00<00:00, 206769.17it/s]\n",
            "100%|██████████| 800/800 [00:00<00:00, 77577.12it/s]\n",
            "100%|██████████| 924/924 [00:00<00:00, 39602.87it/s]\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "import matplotlib.pyplot as plt\n",
        "size_quran_token = [len(sentence) for sentence in quranic_tokenized]\n",
        "size_nahj_token =[len(sentence) for sentence in nahj_tokenized]\n",
        "size_sahife_token = [len(sentence) for sentence in sahife_tokenized]\n",
        "fig,axes=plt.subplots(nrows=1,ncols=3,figsize=(10,5))\n",
        "axes[0].hist(size_quran_token)\n",
        "axes[1].hist(size_nahj_token)\n",
        "axes[2].hist(size_sahife_token)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 394
        },
        "id": "PDgW8svJlBc0",
        "outputId": "809ce756-65b6-4b70-afe3-d8cccd82bfbf"
      },
      "execution_count": 13,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "(array([224., 255., 200., 122.,  69.,  32.,  16.,   3.,   2.,   1.]),\n",
              " array([  3. ,  13.7,  24.4,  35.1,  45.8,  56.5,  67.2,  77.9,  88.6,\n",
              "         99.3, 110. ]),\n",
              " <a list of 10 Patch objects>)"
            ]
          },
          "metadata": {},
          "execution_count": 13
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "<Figure size 720x360 with 3 Axes>"
            ],
            "image/png": "iVBORw0KGgoAAAANSUhEUgAAAlwAAAExCAYAAACpnnypAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4yLjIsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy+WH4yJAAAgAElEQVR4nO3dfYxdd33n8feneYICSpxkaqW2WYfiLUpXi5MdpUGgisYljxVOpRCZrYibteRqG3aThVUx7WpDH5DMqiUFbZvK1FmciuZhAygWyQKuE4T4IwEnmJCHphmC09hyYjdPQLPQOnz3j/sz3Hhn7BnnnnvvjN8v6eqe8zu/e+d7Zs659zPnMVWFJEmSuvMzoy5AkiRpoTNwSZIkdczAJUmS1DEDlyRJUscMXJIkSR0zcEmSJHXMwCUNUJL/kuThJA8luTnJa5KcmeS+JFNJbk1yYut7UhufatOXj7Z6SVJXDFzSgCRZAvxnYLKq/g1wHLAG+BhwfVW9GXgeWNdesg54vrVf3/pJkhag40ddwOGcfvrptXz58lGXIQFw//33/2NVTRyh2/HAa5P8C/CzwF7gfODft+lbgI8ANwCr2zDA7cD/TJI6zNWIXSc0Tma5TnTKdULj5HDrxFgHruXLl7Njx45RlyEBkOTJw02vqj1J/gT4B+D/Al8G7gdeqKoDrdtuYEkbXgI81V57IMmLwGnAPx7yc9cD6wHe+MY3uk5obBxpnRgGvyc0Tg63TrhLURqQJIvobbU6E/h54HXARa/2fatqU1VNVtXkxMRINyZIko6SgUsanF8DvltV+6vqX4DPAW8HTklycGvyUmBPG94DLANo008Gnh1uyZKkYTBwSYPzD8B5SX42SYBVwCPAPcDlrc9a4I42vLWN06bffbjjtyRJ85eBSxqQqrqP3sHvDwDfprd+bQI+BHwgyRS9Y7Q2t5dsBk5r7R8ANgy9aEnSUIz1QfPSfFNV1wHXHdL8BHDuNH1/CLxnGHVJkkbLLVySJEkdM3BJkiR1zMAlSZLUMQOXJElSxwxckiRJHTNwSZIkdWxeXxZi+YY7j/q1uzZeOsBKpPHgOiENjuuTBsktXJIkSR0zcEmSOpFkWZJ7kjyS5OEk17T2jyTZk2Rne1zS95oPJ5lK8liSC0dXvTRY83qXoiRprB0APlhVDyR5A3B/km1t2vVV9Sf9nZOcBawBfgn4eeBvk/zrqnp5qFVLHXALlySpE1W1t6oeaMPfBx4FlhzmJauBW6rqR1X1XWCKaW6LJc1HBi5JUueSLAfOBu5rTe9P8mCSG5Msam1LgKf6XrabaQJakvVJdiTZsX///g6rlgbHwCVJ6lSS1wOfBa6tqu8BNwC/AKwE9gJ/Opf3q6pNVTVZVZMTExMDr1fqgoFLktSZJCfQC1ufqarPAVTVM1X1clX9GPgUP91tuAdY1vfypa1NmvcMXJKkTiQJsBl4tKo+3td+Rl+33wAeasNbgTVJTkpyJrAC+Pqw6pW65FmKkqSuvB14H/DtJDtb2+8B702yEihgF/DbAFX1cJLbgEfoneF4tWcoaqEwcEmSOlFVXwMyzaS7DvOajwIf7awoaUTcpShJktQxA5ckSVLHDFySJEkdM3BJkiR1bNaBK8lxSb6Z5Att/Mwk97WbjN6a5MTWflIbn2rTl/e9hzcllSRJx5y5bOG6ht59sA76GL2bj74ZeB5Y19rXAc+39utbv0NvSnoR8BdJjnt15UuSJI2/WQWuJEuBS4G/auMBzgdub122AJe14dVtnDZ9VevvTUklSdIxabZbuP4M+F3gx238NOCFqjrQxvtvMPqTm4+26S+2/t6UVJIkHZOOGLiS/Dqwr6ruH0I93pRU81aSX0yys+/xvSTXJjk1ybYkj7fnRa1/knyyHdf4YJJzRj0PkqRuzGYL19uBdyfZBdxCb1fiJ4BTkhy8Un3/DUZ/cvPRNv1k4Fm8KakWuKp6rKpWVtVK4N8BLwGfBzYA26tqBbC9jQNcTO9ecSuA9cANw69akjQMRwxcVfXhqlpaVcvpHfR+d1X9JnAPcHnrtha4ow1vbeO06XdXVeFNSXVsWQV8p6qe5JXHNR56vONN1XMvvX9izvj/30qSNN+9mutwfQj4QJIpesdobW7tm4HTWvsHaP/NV9XDwMGbkn4Rb0qqhW0NcHMbXlxVe9vw08DiNuxxjZJ0jJjTzaur6ivAV9rwE0xzlmFV/RB4zwyv96akWvDaNeneDXz40GlVVUlqLu9XVZuATQCTk5Nzeq0kaTx4pXlp8C4GHqiqZ9r4Mwd3Fbbnfa3d4xol6Rhh4JIG7738dHcivPK4xkOPd7yyna14HvBi365HSdICMqddipIOL8nrgHcBv93XvBG4Lck64EngitZ+F3AJvYsAvwRcNcRSJUlDZOCSBqiq/oneSST9bc/SO2vx0L4FXD2k0iRJI+QuRUmSpI4ZuCRJkjpm4JIkSeqYx3BJkhas5RvuHHUJEuAWLkmSpM4ZuCRJkjpm4JIkSeqYgUuSJKljBi5JkqSOGbgkSZI6ZuCSJEnqmIFLkiSpYwYuSZKkjhm4JEmSOmbgkiRJ6piBS5IkqWMGLkmSpI4ZuCRJkjpm4JIkSeqYgUuSJKljBi5JkqSOGbgkSZI6ZuCSJEnqmIFLkiSpYwYuSZKkjhm4pAFKckqS25P8XZJHk7wtyalJtiV5vD0van2T5JNJppI8mOScUdcvDVKSZUnuSfJIkoeTXNPaXSd0zDFwSYP1CeCLVfUW4K3Ao8AGYHtVrQC2t3GAi4EV7bEeuGH45UqdOgB8sKrOAs4Drk5yFq4TOgYZuKQBSXIy8CvAZoCq+ueqegFYDWxp3bYAl7Xh1cBN1XMvcEqSM4ZcttSZqtpbVQ+04e/T+wdkCa4TOgYdP+oCpAXkTGA/8L+SvBW4H7gGWFxVe1ufp4HFbXgJ8FTf63e3tr19bSRZT++/fd74xjd2VrzUpSTLgbOB+zgG1onlG+48qtft2njpgCvRuHALlzQ4xwPnADdU1dnAP/HTXSUAVFUBNZc3rapNVTVZVZMTExMDK1YaliSvBz4LXFtV3+uf5jqhY4WBSxqc3cDuqrqvjd9OL4A9c3C3SHve16bvAZb1vX5pa5MWjCQn0Atbn6mqz7Vm1wkdcwxc0oBU1dPAU0l+sTWtAh4BtgJrW9ta4I42vBW4sp2ZdR7wYt9uFmneSxJ6xzQ+WlUf75vkOqFjjsdwSYP1n4DPJDkReAK4it4/NrclWQc8CVzR+t4FXAJMAS+1vtJC8nbgfcC3k+xsbb8HbMR1QscYA5c0QFW1E5icZtKqafoWcHXnRUkjUlVfAzLDZNcJHVPcpShJktQxA5ckSVLHDFySJEkdM3BJkiR1zMAlSZLUMQOXJElSxwxckiRJHTNwSZIkdczAJUmS1DEDlyRJUscMXJIkSR0zcEmSJHXMwCVJktSxIwauJK9J8vUk30rycJI/aO1nJrkvyVSSW5Oc2NpPauNTbfryvvf6cGt/LMmFXc2UJEnSOJnNFq4fAedX1VuBlcBFSc4DPgZcX1VvBp4H1rX+64DnW/v1rR9JzgLWAL8EXAT8RZLjBjkzkiRJ4+iIgat6ftBGT2iPAs4Hbm/tW4DL2vDqNk6bvipJWvstVfWjqvouMAWcO5C5kCRJGmOzOoYryXFJdgL7gG3Ad4AXqupA67IbWNKGlwBPAbTpLwKn9bdP85r+n7U+yY4kO/bv3z/3OZIkSRozswpcVfVyVa0EltLbKvWWrgqqqk1VNVlVkxMTE139GEmSpKGZ01mKVfUCcA/wNuCUJMe3SUuBPW14D7AMoE0/GXi2v32a10iSJC1YszlLcSLJKW34tcC7gEfpBa/LW7e1wB1teGsbp02/u6qqta9pZzGeCawAvj6oGZEkSRpXxx+5C2cAW9oZhT8D3FZVX0jyCHBLkj8Gvglsbv03A3+dZAp4jt6ZiVTVw0luAx4BDgBXV9XLg50dSZKk8XPEwFVVDwJnT9P+BNOcZVhVPwTeM8N7fRT46NzLlCRJmr+80rwkSVLHDFySJEkdM3BJkiR1zMAlDVCSXUm+nWRnkh2t7dQk25I83p4XtfYk+WS7v+iDSc4ZbfWSpK4YuKTB+9WqWllVk218A7C9qlYA29s4wMX0Lo+yAlgP3DD0SiVJQ2HgkrrXf3/RQ+87elO7X+m99C4mfMYoCpQkdcvAJQ1WAV9Ocn+S9a1tcVXtbcNPA4vbsPcXlaRjxGwufCpp9t5RVXuS/BywLcnf9U+sqkpSc3nDqtoEbAKYnJyc02slSePBLVzSAFXVnva8D/g8vYsDP3NwV2F73te6e39RSTpGGLikAUnyuiRvODgMXAA8xCvvL3rofUevbGcrnge82LfrUZK0gLhLURqcxcDnk0Bv3fqbqvpikm8AtyVZBzwJXNH63wVcAkwBLwFXDb9kSdIwGLikAWn3F33rNO3PAqumaS/g6iGUJkkaMXcpSpIkdczAJUmS1DEDlyRJUscMXJIkSR0zcEmSJHXMwCVJktQxA5ckSVLHDFySpE4kuTHJviQP9bV9JMmeJDvb45K+aR9OMpXksSQXjqZqqRsGLklSVz4NXDRN+/VVtbI97gJIchawBvil9pq/SHLc0CqVOmbgkiR1oqq+Cjw3y+6rgVuq6kdV9V16t7w6t7PipCEzcEmShu39SR5suxwXtbYlwFN9fXa3NmlBMHBJkobpBuAXgJXAXuBP5/oGSdYn2ZFkx/79+wddn9QJA5ckaWiq6pmqermqfgx8ip/uNtwDLOvrurS1Tfcem6pqsqomJyYmui1YGhADlyRpaJKc0Tf6G8DBMxi3AmuSnJTkTGAF8PVh1yd15fhRFyBJWpiS3Ay8Ezg9yW7gOuCdSVYCBewCfhugqh5OchvwCHAAuLqqXh5F3VIXDFySpE5U1Xunad58mP4fBT7aXUXS6LhLUZIkqWMGLkmSpI4ZuCRJkjpm4JIkSeqYgUuSJKljBi5JkqSOGbgkSZI6ZuCSJEnqmIFLGrAkxyX5ZpIvtPEzk9yXZCrJrUlObO0ntfGpNn35KOuWJHXHwCUN3jXAo33jHwOur6o3A88D61r7OuD51n596ydJWoAMXNIAJVkKXAr8VRsPcD5we+uyBbisDa9u47Tpq1p/SdICY+CSBuvPgN8FftzGTwNeqKoDbXw3sKQNLwGeAmjTX2z9JUkLjIFLGpAkvw7sq6r7B/y+65PsSLJj//79g3xrSdKQGLikwXk78O4ku4Bb6O1K/ARwSpLjW5+lwJ42vAdYBtCmnww8e+ibVtWmqpqsqsmJiYlu50CS1AkDlzQgVfXhqlpaVcuBNcDdVfWbwD3A5a3bWuCONry1jdOm311VNcSSJUlDYuCSuvch4ANJpugdo7W5tW8GTmvtHwA2jKg+SVLHjj9yF0lzVVVfAb7Shp8Azp2mzw+B9wy1MEnSSLiFS5IkqWMGLkmSpI4ZuCRJkjpm4JIkSeqYgUuSJKljBi5JkqSOHfGyEEmWATcBi4ECNlXVJ5KcCtwKLAd2AVdU1fPt5rufAC4BXgJ+q6oeaO+1Fvhv7a3/uKq2IEmSAFi+4c6jfu2ujZcOsBIN2my2cB0APlhVZwHnAVcnOYveRRq3V9UKYDs/vWjjxcCK9lgP3ADQAtp1wC/TuybRdUkWDXBeJEmSxtIRA1dV7T24haqqvg88CiwBVgMHt1BtAS5rw6uBm6rnXnr3kTsDuBDYVlXPVdXzwDbgooHOjSRJ0hia0zFcSZYDZwP3AYuram+b9DS9XY7QC2NP9b1sd2ubqV2SJGlBm3XgSvJ64LPAtVX1vf5p7Ya7A7npbpL1SXYk2bF///5BvKUkSdJIzSpwJTmBXtj6TFV9rjU/03YV0p73tfY9wLK+ly9tbTO1v0JVbaqqyaqanJiYmMu8SJIkjaUjBq521uFm4NGq+njfpK3A2ja8Frijr/3K9JwHvNh2PX4JuCDJonaw/AWtTZIkaUE74mUhgLcD7wO+nWRna/s9YCNwW5J1wJPAFW3aXfQuCTFF77IQVwFU1XNJ/gj4Ruv3h1X13EDmQpIkaYwdMXBV1deAzDB51TT9C7h6hve6EbhxLgVKkiTNd15pXpIkqWMGLkmSpI4ZuCRJkjpm4JIkSeqYgUuSJKljBi5JkqSOGbgkSZI6ZuCSJEnqmIFLkiSpYwYuSZKkjhm4pAFJ8pokX0/yrSQPJ/mD1n5mkvuSTCW5NcmJrf2kNj7Vpi8fZf3SoCW5Mcm+JA/1tZ2aZFuSx9vzotaeJJ9s68ODSc4ZXeXS4Bm4pMH5EXB+Vb0VWAlclOQ84GPA9VX1ZuB5YF3rvw54vrVf3/pJC8mngYsOadsAbK+qFcD2Ng5wMbCiPdYDNwypRmkoDFzSgFTPD9roCe1RwPnA7a19C3BZG17dxmnTVyWZ6Ubx0rxTVV8FnjukuX+5P3R9uKmtR/cCpyQ5YziVSt0zcEkDlOS4JDuBfcA24DvAC1V1oHXZDSxpw0uApwDa9BeB06Z5z/VJdiTZsX///q5nQera4qra24afBha34Z+sD03/uvIKrhOajwxc0gBV1ctVtRJYCpwLvGUA77mpqiaranJiYuJV1yiNi6oqeluB5/o61wnNOwYuqQNV9QJwD/A2ertGjm+TlgJ72vAeYBlAm34y8OyQS5WG7ZmDuwrb877W/pP1oelfV6R5z8AlDUiSiSSntOHXAu8CHqUXvC5v3dYCd7ThrW2cNv3u9h+/tJD1L/eHrg9XtrMVzwNe7Nv1KM17xx+5i6RZOgPYkuQ4ev/M3FZVX0jyCHBLkj8Gvglsbv03A3+dZIregcVrRlG01JUkNwPvBE5Pshu4DtgI3JZkHfAkcEXrfhdwCTAFvARcNfSCpQ4ZuKQBqaoHgbOnaX+C3vFch7b/EHjPEEqTRqKq3jvDpFXT9C3g6m4rkkbHXYqSJEkdM3BJkiR1zMAlSZLUMQOXJElSxwxckiRJHTNwSZIkdeyYvSzE8g13HvVrd228dICVSJKkhc4tXJIkSR0zcEmSJHXMwCVJktQxA5ckSVLHDFySJEkdM3BJkiR1zMAlSZLUMQOXJElSxwxckiRJHTNwSZIkdczAJUmS1DEDlyRJUscMXJIkSR0zcEmSJHXMwCVJktQxA5ckSVLHDFySJEkdM3BJkiR1zMAlDUiSZUnuSfJIkoeTXNPaT02yLcnj7XlRa0+STyaZSvJgknNGOweSpK4cP+oCpAXkAPDBqnogyRuA+5NsA34L2F5VG5NsADYAHwIuBla0xy8DN7RnSZqz5RvuPOrX7tp46QAr0XTcwiUNSFXtraoH2vD3gUeBJcBqYEvrtgW4rA2vBm6qnnuBU5KcMeSyJUlDYOCSOpBkOXA2cB+wuKr2tklPA4vb8BLgqb6X7W5th77X+iQ7kuzYv39/ZzVLkrpj4JIGLMnrgc8C11bV9/qnVVUBNZf3q6pNVTVZVZMTExMDrFSSNCwGLmmAkpxAL2x9pqo+15qfObirsD3va+17gGV9L1/a2iRJC4yBSxqQJAE2A49W1cf7Jm0F1rbhtcAdfe1XtrMVzwNe7Nv1KElaQI4YuJLcmGRfkof62uZ8mnuSta3/40nWTvezpHnu7cD7gPOT7GyPS4CNwLuSPA78WhsHuAt4ApgCPgX8zghqliQNwWwuC/Fp4H8CN/W1bWAOp7knORW4Dpikd/zK/Um2VtXzg5oRadSq6mtAZpi8apr+BVzdaVGSpLFwxC1cVfVV4LlDmud6mvuFwLaqeq6FrG3ARYOYAUmSpHF3tMdwzfU091md/i5JkrQQveqD5o/mNPfD8ZpDkiRpoTnawDXX09xnffq71xySJEkLzdEGrrme5v4l4IIki9oZjRe0NkmSpAXviGcpJrkZeCdwepLd9M423AjclmQd8CRwRet+F3AJvdPcXwKuAqiq55L8EfCN1u8Pq+rQA/ElSZIWpCMGrqp67wyT5nSae1XdCNw4p+okSZIWAK80L0mS1LHZXPhUkqSBSrIL+D7wMnCgqibbRbJvBZYDu4ArvEC2Fgq3cEmSRuVXq2plVU228YN3MVkBbG/j0oJg4JIkjYuZ7mIizXsGLknSKBTw5ST3J1nf2ma6i8kreIFszUcewyVJGoV3VNWeJD8HbEvyd/0Tq6qSTHsXk6raBGwCmJycHNidTqQuuYVLkjR0VbWnPe8DPg+cy8x3MZHmPQOXJGmokrwuyRsODtO7+8hDzHwXE2nec5eiJGnYFgOfTwK976G/qaovJvkG09/FRJr3DFySpKGqqieAt07T/izT3MVEWgjcpShJktQxA5ckSVLHDFySJEkdM3BJkiR1zMAlSZLUMQOXJElSxwxckiRJHTNwSZIkdczAJQ1QkhuT7EvyUF/bqUm2JXm8PS9q7UnyySRTSR5Mcs7oKpckdcnAJQ3Wp4GLDmnbAGyvqhXA9jYOcDGwoj3WAzcMqUZJ0pAZuKQBqqqvAs8d0rwa2NKGtwCX9bXfVD33AqckOWM4lUqShsnAJXVvcVXtbcNP07txL8AS4Km+frtb2yskWZ9kR5Id+/fv77ZSSVInvHm1NERVVUlqjq/ZBGwCmJycnNNrJWk2lm+486hfu2vjpQOsZOFyC5fUvWcO7ipsz/ta+x5gWV+/pa1NkrTAGLik7m0F1rbhtcAdfe1XtrMVzwNe7Nv1KElaQNylKA1QkpuBdwKnJ9kNXAdsBG5Lsg54Eriidb8LuASYAl4Crhp6wZKkoTBwSQNUVe+dYdKqafoWcHW3FUmSxoG7FCVJkjpm4JIkSeqYgUuSJKljBi5JkqSOGbgkSZI6ZuCSJEnqmIFLkiSpYwYuSZKkjnnh06PgTT4lSdJcuIVLkiSpYwYuSZKkjhm4JEmSOuYxXJIk6ah5XPPsuIVLkiSpYwYuSZKkjhm4JEmSOmbgkiRJ6piBS5IkqWMGLkmSpI4ZuCRJkjrmdbgkAV5LR5K65BYuSZKkjhm4JEmSOmbgkiRJ6pjHcA3Z0R4n4zEykiTNX0MPXEkuAj4BHAf8VVVtHHYN0jhxnZBeyXXi2HEsnawz1MCV5Djgz4F3AbuBbyTZWlWPDLMOaVwslHXCLbcalIWyTqh78y2sDXsL17nAVFU9AZDkFmA14Ip0BK9mwXo1/ELs3DG9Tsy3D0wY3bo4KiP4PR/T64SGYxSfPcMOXEuAp/rGdwO/3N8hyXpgfRv9QZLHZniv04F/HHiFozOW85OPHdXLxnJeXoWD8/OvOnjvQa4TMD9+9wOp8SiXzdk6Zn6PR3KE3/O4rRPj9HezlunN+1qOdp0Yu4Pmq2oTsOlI/ZLsqKrJIZQ0FAtpfhbSvMDo52e26wSMvtbZsMbBmA81dmWmdWKcfifWMr1juZZhXxZiD7Csb3xpa5OOVa4T0iu5TmhBGnbg+gawIsmZSU4E1gBbh1yDNE5cJ6RXcp3QgjTUXYpVdSDJ+4Ev0Tvd98aqevgo325Wu1jmkYU0PwtpXqDD+RnwOgHz43dvjYMxH2qcs1e5TozT78RapnfM1pKqGubPkyRJOuZ4ax9JkqSOGbgkSZI6Nu8CV5KLkjyWZCrJhlHXczSS7Ery7SQ7k+xobacm2Zbk8fa8aNR1ziTJjUn2JXmor23a+tPzyfb3ejDJOaOrfHozzM9Hkuxpf6OdSS7pm/bhNj+PJblwNFW/0ijXi0EtD0nWtv6PJ1k74BqXJbknySNJHk5yzZjW+ZokX0/yrVbnH7T2M5Pc1+q5tR1MTpKT2vhUm768773Gbjnt0ojXgZmWrxk/RzquZ+TfMUl+sW++dyb5XpJrh/k7GbvvqqqaNw96B1B+B3gTcCLwLeCsUdd1FPOxCzj9kLb/AWxowxuAj426zsPU/yvAOcBDR6ofuAT4P0CA84D7Rl3/LOfnI8B/nabvWW25Owk4sy2Px424/pGuF4NYHoBTgSfa86I2vGiANZ4BnNOG3wD8fftbjludAV7fhk8A7ms//zZgTWv/S+A/tuHfAf6yDa8Bbh3X5bTjZXDU68BMy9e0nyNDqGcXY/Qd0/4+T9O7KOjQfieD+Gwa5GO+beH6yS0fquqfgYO3fFgIVgNb2vAW4LIR1nJYVfVV4LlDmmeqfzVwU/XcC5yS5IzhVDo7M8zPTFYDt1TVj6rqu8AUveVylEa6XgxoebgQ2FZVz1XV88A24KIB1ri3qh5ow98HHqV3RfNxq7Oq6gdt9IT2KOB84PYZ6jxY/+3AqiRhPJfTLo16HZhp+Rono/yOWQV8p6qeHOLPHLvvqvkWuKa75cO4LdSzUcCXk9yf3i0qABZX1d42/DSweDSlHbWZ6p/Pf7P3t03LN/Ztfh/H+RnHmua6PAxtHtput7PpbT0auzqTHJdkJ7CPXqD7DvBCVR2Y5mf+pJ42/UXgtGHUOWbGZn4PWb5g+s+Rro3bd8wa4Oa+8VH8Tg4a2XfVfAtcC8U7quoc4GLg6iS/0j+xets35+31OuZ7/c0NwC8AK4G9wJ+Otpz5a5yWhySvBz4LXFtV3+ufNi51VtXLVbWS3hXWzwXeMuKSNEvTLF+j+hwZm++Ydrzhu4H/3ZrG5rN12Ov8fAtcC+KWD1W1pz3vAz5P70P1mYObL9vzvtFVeFRmqn9e/s2q6pn2xfdj4FP8dHfMOM7PONY01+Wh83lIcgK9L8PPVNXnxrXOg6rqBeAe4G30dm8cvFB1/8/8ST1t+snAs8Osc0yMfH6nW74O8znSqTH7jrkYeKCqnmk1jeR30mdk31XzLXDN+1s+JHldkjccHAYuAB6iNx8Hz3haC9wxmgqP2kz1bwWubGeAnAe82Lc5d2wdsu/+N+j9jaA3P2va2WFnAiuArw+7vkOM43ox1+XhS8AFSRa1XQwXtLaBaMc1bQYeraqPj3GdE0lOacOvBd5F73ige4DLZ6jzYP2XA3e3/9rHcTnt0kjXgZmWr8N8jnRZy7h9x7yXvt2Jo/idHGJ031WDPgq/6we9Mwn+nt5xDb8/6nqOov430TuD5lvAwwfngd5xF9uBx4G/BU4dda2HmYeb6W0K/hd6+7nXzVQ/vTM+/rz9vb4NTI66/lnOz1+3eh9sK+IZff1/v83PY8DFo66/1TSy9WJQywPwH+gd3BZtSy0AAACTSURBVD0FXDXgGt9Bb9fBg8DO9rhkDOv8t8A3W50PAf+9tb+JXmCaordr5qTW/po2PtWmv2mcl9OOl8NRrgMzLV8zfo50WMvYfMcAr6O3xfXkvrah/U4G9dk0qIe39pEkSerYfNulKEmSNO8YuCRJkjpm4JIkSeqYgUuSJKljBi5JkqSOGbgkSZI6ZuCSJEnq2P8DACiBg1oNA8gAAAAASUVORK5CYII=\n"
          },
          "metadata": {
            "needs_background": "light"
          }
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# Common Modules"
      ],
      "metadata": {
        "id": "8AztaLi1pTil"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "pip install transformers -Uqq"
      ],
      "metadata": {
        "id": "tbfP7hP4pSb-"
      },
      "execution_count": 14,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "def tokenize(sentence_list):\n",
        "    return tokenizer.batch_encode_plus(sentence_list,\n",
        "                    add_special_tokens=True,\n",
        "                    max_length=128,\n",
        "                    padding='max_length',\n",
        "                    return_attention_mask=True,\n",
        "                    truncation=True,\n",
        "                    return_tensors='pt')"
      ],
      "metadata": {
        "id": "MMmEqb0dlxHN"
      },
      "execution_count": 15,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "import numpy as np\n",
        "import torch\n",
        "from torch.utils.data import DataLoader,TensorDataset\n",
        "\n",
        "def get_mean_embedding(model,sentences,batch_size=128):\n",
        "    encoding= tokenize(sentences)\n",
        "\n",
        "    dataset=TensorDataset(encoding.input_ids, encoding.attention_mask)\n",
        "    dataloader = DataLoader(dataset,batch_size=batch_size\n",
        "                            ,drop_last=False,shuffle=False)\n",
        "\n",
        "    predictions = []\n",
        "    with torch.no_grad():\n",
        "        for (input_ids, attention_mask) in dataloader:\n",
        "            prediction = model(input_ids.to(device),\n",
        "                               attention_mask.to(device))\n",
        "            predictions.append(prediction.last_hidden_state)\n",
        "\n",
        "    predictions = torch.cat(predictions,dim=0)\n",
        "\n",
        "    attention_mask=encoding.attention_mask.unsqueeze(-1) \\\n",
        "                    .expand(predictions.shape).float()\n",
        "    # for filtering out unnecessary ones\n",
        "    mask_embeddings=predictions.cpu() * attention_mask\n",
        "\n",
        "    summed = torch.sum(mask_embeddings,dim=1)\n",
        "    count = torch.clamp(attention_mask.sum(dim=1),min=1e-9)\n",
        "    mean_embedding = summed / count\n",
        "\n",
        "    return mean_embedding"
      ],
      "metadata": {
        "id": "kAWvG0dJrHxM"
      },
      "execution_count": 16,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "from sklearn.metrics.pairwise import cosine_similarity\n",
        "\n",
        "def get_most_similar(mean_embedding,compare_verse_no):\n",
        "    mean_embedding = mean_embedding.numpy()\n",
        "    similarity=cosine_similarity(\n",
        "        [mean_embedding[compare_verse_no]],\n",
        "        mean_embedding \n",
        "    ).squeeze()\n",
        "    \n",
        "    most_similar=similarity.argsort()[-15:][::-1]\n",
        "    return most_similar"
      ],
      "metadata": {
        "id": "16688MjIuRjD"
      },
      "execution_count": 28,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "# Similarity without finetuning"
      ],
      "metadata": {
        "id": "OOZS_IvAHklC"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## Loading Bert Model"
      ],
      "metadata": {
        "id": "4AcRU18kHRMB"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "from transformers import AutoTokenizer, AutoModel\n",
        "import torch\n",
        "device = 'cuda' if torch.cuda.is_available() else 'cpu'\n",
        "\n",
        "# Mini:   asafaya/bert-mini-arabic\n",
        "# Medium: asafaya/bert-medium-arabic\n",
        "# Base:   asafaya/bert-base-arabic\n",
        "# Large:  asafaya/bert-large-arabic\n",
        "# https://www.youtube.com/watch?v=jVPd7lEvjtg\n",
        "\n",
        "tokenizer = AutoTokenizer.from_pretrained(\"asafaya/bert-base-arabic\")\n",
        "model = AutoModel.from_pretrained(\"asafaya/bert-base-arabic\")\n",
        "\n",
        "model=model.to(device)\n",
        "\n",
        "model.eval()\n",
        "\n",
        "device"
      ],
      "metadata": {
        "id": "sm5hDzwI8IKi",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 270,
          "referenced_widgets": [
            "0d67a3502dfd4726873758e1ade6bd1b",
            "ba0bfcf1041a4dd9bb3bab35310aae94",
            "f8a4ae79de9744d1b344561e462bcbe9",
            "c92419997c254f97a9aee8d8e28fb5cb",
            "dba7a05a0f014edcaac2e4aedec8a848",
            "c2c3e0640292436692cc9f828b45a7ee",
            "4e0275fe12a44c54b8afeb12e03f7192",
            "fa39653d540f43848fb7ef6f5410312c",
            "435ba77e5f6b46ca84389244e53cddf2",
            "a30cb088478546e28772ac48b7ae6b4d",
            "0280bc3e7ad94124a1e47519ed935a78",
            "e2b68306a94b471f973bb848e2a630c6",
            "32e66d63c9b34f2a9dcacd7eae5cdbdd",
            "8ee9cc4934a44eaf9fc710254fe566f6",
            "94ddd196c31044609aacf311594bdaff",
            "758ddd89972f4a2d95507b32f8c02a2a",
            "6b1d2db289564ae7a8206025797aa0fe",
            "0dcd6544b6614737966725eedb6c666b",
            "b6f2db880c664c4ebdba26b1ee8f7de9",
            "bb08b85e430d45ef93ec885238883539",
            "55baff50b2d8440e8d5c0e35a50e81d9",
            "346656a828d6439cbcee1108939d8c5a",
            "fc1e88e2c722452f9ccd9d4724a7bec2",
            "9404858647d84e77914527820b84516c",
            "946005bd20da44119730a0ef3c51d7c6",
            "446571cb3add4c1a841b169f8214de41",
            "430ecb7837de455f90c5c54f00ced4de",
            "3481cc8b360c45ddaa3eddf3c40561cb",
            "97a15cc578574abfb62fbb3b8cb2564a",
            "8f494e71c65742c4902db262930143ad",
            "bc5ab67ffde04ca6b1631e5f4626d8fa",
            "10e869d55bb7470281dddf0b1f8eeb80",
            "36fdd45d20e44d25b295501b01746028",
            "a0170e7ed7ec4d3a9579a37a06e963bc",
            "bee6bddc35694c559dc8552d43f6ed65",
            "c70d56cc8a114dac9d1074aed01950bd",
            "cef83067bada431cb1dd97db4d84a896",
            "6ee3f45ae90d41649c6ac2755db584a9",
            "44673ee38b4e410f85c0f9ae7b634ea2",
            "2c7811266ac24e318840ce1abf94c49d",
            "fa63c494a2614d5792be0be39f4e2a78",
            "6f456133c2cc4d7c8ce006ad8f43841c",
            "20d0beaacff548079245cfc15b5b3f86",
            "a27767dc48c94fa5b38f8c99b73e1105",
            "c83c32ba12884e3f8ca92ec985964990",
            "7262394cf2be48c8a9ab217bb0fb1f5f",
            "c1f4d018393e41f399b80a6c526cedd2",
            "d227aaf3372c4c9dbc5b7f29dc61f7c0",
            "d7dada9580cf430080807ffbb2b45063",
            "082e258eb668463f8a43fa4cc9e9e17f",
            "e84e735c06804690a0087fc89bbe1c3c",
            "2c652ae19b254cba980d89561f12feb1",
            "be935dab755646bbab33fade42fb3445",
            "037d6389ffd94f088702401b17923d03",
            "ef8fa84da5e440e981e07f633fcf96fe"
          ]
        },
        "outputId": "de8d9402-edab-4b79-f5e0-9cbd19f2b19f"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "Downloading:   0%|          | 0.00/62.0 [00:00<?, ?B/s]"
            ],
            "application/vnd.jupyter.widget-view+json": {
              "version_major": 2,
              "version_minor": 0,
              "model_id": "0d67a3502dfd4726873758e1ade6bd1b"
            }
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "Downloading:   0%|          | 0.00/491 [00:00<?, ?B/s]"
            ],
            "application/vnd.jupyter.widget-view+json": {
              "version_major": 2,
              "version_minor": 0,
              "model_id": "e2b68306a94b471f973bb848e2a630c6"
            }
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "Downloading:   0%|          | 0.00/326k [00:00<?, ?B/s]"
            ],
            "application/vnd.jupyter.widget-view+json": {
              "version_major": 2,
              "version_minor": 0,
              "model_id": "fc1e88e2c722452f9ccd9d4724a7bec2"
            }
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "Downloading:   0%|          | 0.00/112 [00:00<?, ?B/s]"
            ],
            "application/vnd.jupyter.widget-view+json": {
              "version_major": 2,
              "version_minor": 0,
              "model_id": "a0170e7ed7ec4d3a9579a37a06e963bc"
            }
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "Downloading:   0%|          | 0.00/424M [00:00<?, ?B/s]"
            ],
            "application/vnd.jupyter.widget-view+json": {
              "version_major": 2,
              "version_minor": 0,
              "model_id": "c83c32ba12884e3f8ca92ec985964990"
            }
          },
          "metadata": {}
        },
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "Some weights of the model checkpoint at asafaya/bert-base-arabic were not used when initializing BertModel: ['cls.predictions.transform.LayerNorm.bias', 'cls.predictions.transform.LayerNorm.weight', 'cls.predictions.transform.dense.weight', 'cls.predictions.decoder.bias', 'cls.predictions.transform.dense.bias', 'cls.predictions.bias', 'cls.predictions.decoder.weight']\n",
            "- This IS expected if you are initializing BertModel from the checkpoint of a model trained on another task or with another architecture (e.g. initializing a BertForSequenceClassification model from a BertForPreTraining model).\n",
            "- This IS NOT expected if you are initializing BertModel from the checkpoint of a model that you expect to be exactly identical (initializing a BertForSequenceClassification model from a BertForSequenceClassification model).\n"
          ]
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "'cuda'"
            ],
            "application/vnd.google.colaboratory.intrinsic+json": {
              "type": "string"
            }
          },
          "metadata": {},
          "execution_count": 18
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "## Extract Embedding Vectors"
      ],
      "metadata": {
        "id": "rhfAd4vfHWPA"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "mean_embedding = get_mean_embedding(model,list(verse_complete_dict_nrmlz.values()))"
      ],
      "metadata": {
        "id": "Pcoynbps7C9D"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "## Compute Similarity Score"
      ],
      "metadata": {
        "id": "NR6SbLXxHcRJ"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "compare_to = 30\n",
        "\n",
        "most_similar=get_most_similar(mean_embedding, compare_to)\n",
        "\n",
        "verse_complete=pd.DataFrame(verse_complete_dict_nrmlz.values())\n",
        "print(verse_complete.iloc[compare_to].values)\n",
        "\n",
        "verse_complete.iloc[most_similar]"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 442
        },
        "id": "9bEmLXLe1OzS",
        "outputId": "dab95136-2f1b-499a-ccc8-a377d292feb9"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "['فان لم تفعلوا ولن تفعلوا فاتقوا النار التي وقودها الناس والحجاره ۖ اعدت للكافرين']\n"
          ]
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "                                                                                                                                                                                                      0\n",
              "30                                                                                                                     فان لم تفعلوا ولن تفعلوا فاتقوا النار التي وقودها الناس والحجاره ۖ اعدت للكافرين\n",
              "689                                                                                                                يا قوم ادخلوا الارض المقدسه التي كتب الله لكم ولا ترتدوا علي ادباركم فتنقلبوا خاسرين\n",
              "1195                                                                         ان الذين كفروا ينفقون اموالهم ليصدوا عن سبيل الله ۚ فسينفقونها ثم تكون عليهم حسره ثم يغلبون ۗ والذين كفروا الي جهنم يحشرون\n",
              "3522                                                                              واما الذين فسقوا فماواهم النار ۖ كلما ارادوا ان يخرجوا منها اعيدوا فيها وقيل لهم ذوقوا عذاب النار الذي كنتم به تكذبون\n",
              "86                                                                                وقالوا لن تمسنا النار الا اياما معدوده ۚ قل اتخذتم عند الله عهدا فلن يخلف الله عهده ۖ ام تقولون علي الله ما لا تعلمون\n",
              "3351                                                                                          وقال الذين كفروا للذين امنوا اتبعوا سبيلنا ولنحمل خطاياكم وما هم بحاملين من خطاياهم من شيء ۖ انهم لكاذبون\n",
              "316                                                                                                                   ذلك بانهم قالوا لن تمسنا النار الا اياما معدودات ۖ وغرهم في دينهم ما كانوا يفترون\n",
              "45                                                                                                                                       والذين كفروا وكذبوا باياتنا اولئك اصحاب النار ۖ هم فيها خالدون\n",
              "2241                                                                                                                   افحسب الذين كفروا ان يتخذوا عبادي من دوني اولياء ۚ انا اعتدنا جهنم للكافرين نزلا\n",
              "459   وليعلم الذين نافقوا ۚ وقيل لهم تعالوا قاتلوا في سبيل الله او ادفعوا ۖ قالوا لو نعلم قتالا لاتبعناكم ۗ هم للكفر يومئذ اقرب منهم للايمان ۚ يقولون بافواههم ما ليس في قلوبهم ۗ والله اعلم بما يكتمون"
            ],
            "text/html": [
              "\n",
              "  <div id=\"df-e25d806a-04a0-43d4-96b6-61a7326d42c9\">\n",
              "    <div class=\"colab-df-container\">\n",
              "      <div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>0</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>30</th>\n",
              "      <td>فان لم تفعلوا ولن تفعلوا فاتقوا النار التي وقودها الناس والحجاره ۖ اعدت للكافرين</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>689</th>\n",
              "      <td>يا قوم ادخلوا الارض المقدسه التي كتب الله لكم ولا ترتدوا علي ادباركم فتنقلبوا خاسرين</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1195</th>\n",
              "      <td>ان الذين كفروا ينفقون اموالهم ليصدوا عن سبيل الله ۚ فسينفقونها ثم تكون عليهم حسره ثم يغلبون ۗ والذين كفروا الي جهنم يحشرون</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3522</th>\n",
              "      <td>واما الذين فسقوا فماواهم النار ۖ كلما ارادوا ان يخرجوا منها اعيدوا فيها وقيل لهم ذوقوا عذاب النار الذي كنتم به تكذبون</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>86</th>\n",
              "      <td>وقالوا لن تمسنا النار الا اياما معدوده ۚ قل اتخذتم عند الله عهدا فلن يخلف الله عهده ۖ ام تقولون علي الله ما لا تعلمون</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3351</th>\n",
              "      <td>وقال الذين كفروا للذين امنوا اتبعوا سبيلنا ولنحمل خطاياكم وما هم بحاملين من خطاياهم من شيء ۖ انهم لكاذبون</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>316</th>\n",
              "      <td>ذلك بانهم قالوا لن تمسنا النار الا اياما معدودات ۖ وغرهم في دينهم ما كانوا يفترون</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>45</th>\n",
              "      <td>والذين كفروا وكذبوا باياتنا اولئك اصحاب النار ۖ هم فيها خالدون</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2241</th>\n",
              "      <td>افحسب الذين كفروا ان يتخذوا عبادي من دوني اولياء ۚ انا اعتدنا جهنم للكافرين نزلا</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>459</th>\n",
              "      <td>وليعلم الذين نافقوا ۚ وقيل لهم تعالوا قاتلوا في سبيل الله او ادفعوا ۖ قالوا لو نعلم قتالا لاتبعناكم ۗ هم للكفر يومئذ اقرب منهم للايمان ۚ يقولون بافواههم ما ليس في قلوبهم ۗ والله اعلم بما يكتمون</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>\n",
              "      <button class=\"colab-df-convert\" onclick=\"convertToInteractive('df-e25d806a-04a0-43d4-96b6-61a7326d42c9')\"\n",
              "              title=\"Convert this dataframe to an interactive table.\"\n",
              "              style=\"display:none;\">\n",
              "        \n",
              "  <svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\"viewBox=\"0 0 24 24\"\n",
              "       width=\"24px\">\n",
              "    <path d=\"M0 0h24v24H0V0z\" fill=\"none\"/>\n",
              "    <path d=\"M18.56 5.44l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94zm-11 1L8.5 8.5l.94-2.06 2.06-.94-2.06-.94L8.5 2.5l-.94 2.06-2.06.94zm10 10l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94z\"/><path d=\"M17.41 7.96l-1.37-1.37c-.4-.4-.92-.59-1.43-.59-.52 0-1.04.2-1.43.59L10.3 9.45l-7.72 7.72c-.78.78-.78 2.05 0 2.83L4 21.41c.39.39.9.59 1.41.59.51 0 1.02-.2 1.41-.59l7.78-7.78 2.81-2.81c.8-.78.8-2.07 0-2.86zM5.41 20L4 18.59l7.72-7.72 1.47 1.35L5.41 20z\"/>\n",
              "  </svg>\n",
              "      </button>\n",
              "      \n",
              "  <style>\n",
              "    .colab-df-container {\n",
              "      display:flex;\n",
              "      flex-wrap:wrap;\n",
              "      gap: 12px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert {\n",
              "      background-color: #E8F0FE;\n",
              "      border: none;\n",
              "      border-radius: 50%;\n",
              "      cursor: pointer;\n",
              "      display: none;\n",
              "      fill: #1967D2;\n",
              "      height: 32px;\n",
              "      padding: 0 0 0 0;\n",
              "      width: 32px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert:hover {\n",
              "      background-color: #E2EBFA;\n",
              "      box-shadow: 0px 1px 2px rgba(60, 64, 67, 0.3), 0px 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "      fill: #174EA6;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert {\n",
              "      background-color: #3B4455;\n",
              "      fill: #D2E3FC;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert:hover {\n",
              "      background-color: #434B5C;\n",
              "      box-shadow: 0px 1px 3px 1px rgba(0, 0, 0, 0.15);\n",
              "      filter: drop-shadow(0px 1px 2px rgba(0, 0, 0, 0.3));\n",
              "      fill: #FFFFFF;\n",
              "    }\n",
              "  </style>\n",
              "\n",
              "      <script>\n",
              "        const buttonEl =\n",
              "          document.querySelector('#df-e25d806a-04a0-43d4-96b6-61a7326d42c9 button.colab-df-convert');\n",
              "        buttonEl.style.display =\n",
              "          google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "\n",
              "        async function convertToInteractive(key) {\n",
              "          const element = document.querySelector('#df-e25d806a-04a0-43d4-96b6-61a7326d42c9');\n",
              "          const dataTable =\n",
              "            await google.colab.kernel.invokeFunction('convertToInteractive',\n",
              "                                                     [key], {});\n",
              "          if (!dataTable) return;\n",
              "\n",
              "          const docLinkHtml = 'Like what you see? Visit the ' +\n",
              "            '<a target=\"_blank\" href=https://colab.research.google.com/notebooks/data_table.ipynb>data table notebook</a>'\n",
              "            + ' to learn more about interactive tables.';\n",
              "          element.innerHTML = '';\n",
              "          dataTable['output_type'] = 'display_data';\n",
              "          await google.colab.output.renderOutput(dataTable, element);\n",
              "          const docLink = document.createElement('div');\n",
              "          docLink.innerHTML = docLinkHtml;\n",
              "          element.appendChild(docLink);\n",
              "        }\n",
              "      </script>\n",
              "    </div>\n",
              "  </div>\n",
              "  "
            ]
          },
          "metadata": {},
          "execution_count": 20
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "mean_embedding = get_mean_embedding(model,list(nahj_complete_dict_nrmlz.values()))\n",
        "compare_to =10 \n",
        "most_similar=get_most_similar(mean_embedding, compare_to)\n",
        "verse_complete=pd.DataFrame(nahj_complete_dict_nrmlz.values())\n",
        "print(verse_complete.iloc[compare_to].values)\n",
        "verse_complete.iloc[most_similar]"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 653
        },
        "id": "xz_BdLkd8e-V",
        "outputId": "2097996e-e4e8-4938-9bd7-aa726cd93273"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "['تزول الجبال و لا تزل عض علی ناجذک اعر الله جمجمتک تد فی الارض قدمک ارم ببصرک اقصی القوم و غض بصرک و اعلم ان النصر من عند الله سبحانه']\n"
          ]
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         0\n",
              "10                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    تزول الجبال و لا تزل عض علی ناجذک اعر الله جمجمتک تد فی الارض قدمک ارم ببصرک اقصی القوم و غض بصرک و اعلم ان النصر من عند الله سبحانه\n",
              "183                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       اسکت قبحک الله یا اثرم فوالله لقد ظهر الحق فکنت فیه ضئیلا شخصک خفیا صوتک حتی اذا نعر الباطل نجمت نجوم قرن الماعز\n",
              "255                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       اللهم الیک افضت القلوب و مدت الاعناق و شخصت الابصار و نقلت الاقدام و انضیت الابدان اللهم قد صرح مکنون الشنان و جاشت مراجل الاضغان اللهم انا نشکو الیک غیبه نبینا و کثره عدونا و تشتت اهوائناربنا افتح بیننا و بین قومنا بالحق و انت خیر الفاتحین\n",
              "148  ایها الناس کل امر‌ئ لاق ما یفر منه فی فراره الاجل مساق النفس و الهرب منه موافاته کم اطردت الایام ابحثها عن مکنون هذا الامر فابی الله الا اخفاءه هیهات علم مخزون اما وصیتی فالله لا تشرکوا به شیئا و محمدا\n",
              "ص فلا تضیعوا سنته اقیموا هذین العمودین و اوقدوا هذین المصباحین و خلاکم ذم ما لم تشردوا حمل کل امر‌ئ منکم مجهوده و خفف عن الجهله رب رحیم و دین قویم و امام علیم انا بالامس صاحبکم و انا الیوم عبره لکم و غدا مفارقکم غفر الله لی و لکم ان تثبت الوطاه فی هذه المزله فذاک و ان تدحض القدم فانا کنا فی افیاء اغصان و مهاب ریاح و تحت ظل غمام اضمحل فی الجو متلفقها و عفا فی الارض مخطها و انما کنت جارا جاورکم بدنی ایاما و ستعقبون منی جثه خلاء ساکنه بعد حراک و صامته بعد نطق لیعظکم هدوی و خفوت اطراقی و سکون اطرافی فانه اوعظ للمعتبرین من المنطق البلیغ و القول المسموع وداعی لکم وداع امر‌ئ مرصد للتلاقی غدا ترون ایامی و یکشف لکم عن سرائری و تعرفوننی بعد خلو مکانی و قیام غیری مقامی‌\n",
              "710                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    و قال ع ازهد فی الدنیا یبصرک الله عوراتها و لا تغفل فلست بمغفول عنک\n",
              "68                                                                                                                                                                                                                                                                                                                                                                                                                         کم اداریکم کما تداری البکار العمده و الثیاب المتداعیه کلما حیصت من جانب تهتکت من اخر کلما اطل علیکم منسر من مناسر اهل الشام اغلق کل رجل منکم بابه و انجحر انجحار الضبه فی جحرها و الضبع فی وجارها الذلیل و الله من نصرتموه و من رمی‌ بکم فقد رمی‌ بافوق ناصل انکم و الله لکثیر فی الباحات قلیل تحت الرایات و انی لعالم بما یصلحکم و یقیم اودکم و لکنی لا اری اصلاحکم بافساد نفسی اضرع الله خدودکم و اتعس جدودکم لا تعرفون الحق کمعرفتکم الباطل و لا تبطلون الباطل کابطالکم الحق\n",
              "529                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          و قال ع اتقوا الله تقیه من شمر تجریدا و جد تشمیرا و کمش فی مهل و بادر عن وجل و نظر فی کره الموئل و عاقبه المصدر و مغبه المرجع\n",
              "239                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      یا ابن عباس ما یرید عثمان الا ان یجعلنی جملا ناضحا بالغرب اقبل و ادبر بعث الی‌ ان اخرج ثم بعث الی‌ ان اقدم ثم هو الان یبعث الی‌ ان اخرج و الله لقد دفعت عنه حتی خشیت ان اکون اثما\n",
              "230                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             فصدع بما امر به و بلغ رسالات ربه فلم الله به الصدع و رتق به الفتق و الف به الشمل بین ذوی الارحام بعد العداوه الواغره فی الصدور و الضغائن القادحه فی القلوب\n",
              "47                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        الحمد لله کلما وقب لیل و غسق و الحمد لله کلما لاح نجم و خفق و الحمد لله غیر مفقود الانعام و لا مکافا الافضال اما بعد فقد بعثت مقدمتی و امرتهم بلزوم هذا الملطاط حتی یاتیهم امری و قد رایت ان اقطع هذه النطفه الی شرذمه منکم موطنین اکناف دجله فانهضهم معکم الی عدوکم و اجعلهم من امداد القوه لکم"
            ],
            "text/html": [
              "\n",
              "  <div id=\"df-c6f65527-76df-4a48-8666-992e33f6abbf\">\n",
              "    <div class=\"colab-df-container\">\n",
              "      <div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>0</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>10</th>\n",
              "      <td>تزول الجبال و لا تزل عض علی ناجذک اعر الله جمجمتک تد فی الارض قدمک ارم ببصرک اقصی القوم و غض بصرک و اعلم ان النصر من عند الله سبحانه</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>183</th>\n",
              "      <td>اسکت قبحک الله یا اثرم فوالله لقد ظهر الحق فکنت فیه ضئیلا شخصک خفیا صوتک حتی اذا نعر الباطل نجمت نجوم قرن الماعز</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>255</th>\n",
              "      <td>اللهم الیک افضت القلوب و مدت الاعناق و شخصت الابصار و نقلت الاقدام و انضیت الابدان اللهم قد صرح مکنون الشنان و جاشت مراجل الاضغان اللهم انا نشکو الیک غیبه نبینا و کثره عدونا و تشتت اهوائناربنا افتح بیننا و بین قومنا بالحق و انت خیر الفاتحین</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>148</th>\n",
              "      <td>ایها الناس کل امر‌ئ لاق ما یفر منه فی فراره الاجل مساق النفس و الهرب منه موافاته کم اطردت الایام ابحثها عن مکنون هذا الامر فابی الله الا اخفاءه هیهات علم مخزون اما وصیتی فالله لا تشرکوا به شیئا و محمدا\u001eص فلا تضیعوا سنته اقیموا هذین العمودین و اوقدوا هذین المصباحین و خلاکم ذم ما لم تشردوا حمل کل امر‌ئ منکم مجهوده و خفف عن الجهله رب رحیم و دین قویم و امام علیم انا بالامس صاحبکم و انا الیوم عبره لکم و غدا مفارقکم غفر الله لی و لکم ان تثبت الوطاه فی هذه المزله فذاک و ان تدحض القدم فانا کنا فی افیاء اغصان و مهاب ریاح و تحت ظل غمام اضمحل فی الجو متلفقها و عفا فی الارض مخطها و انما کنت جارا جاورکم بدنی ایاما و ستعقبون منی جثه خلاء ساکنه بعد حراک و صامته بعد نطق لیعظکم هدوی و خفوت اطراقی و سکون اطرافی فانه اوعظ للمعتبرین من المنطق البلیغ و القول المسموع وداعی لکم وداع امر‌ئ مرصد للتلاقی غدا ترون ایامی و یکشف لکم عن سرائری و تعرفوننی بعد خلو مکانی و قیام غیری مقامی‌</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>710</th>\n",
              "      <td>و قال ع ازهد فی الدنیا یبصرک الله عوراتها و لا تغفل فلست بمغفول عنک</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>68</th>\n",
              "      <td>کم اداریکم کما تداری البکار العمده و الثیاب المتداعیه کلما حیصت من جانب تهتکت من اخر کلما اطل علیکم منسر من مناسر اهل الشام اغلق کل رجل منکم بابه و انجحر انجحار الضبه فی جحرها و الضبع فی وجارها الذلیل و الله من نصرتموه و من رمی‌ بکم فقد رمی‌ بافوق ناصل انکم و الله لکثیر فی الباحات قلیل تحت الرایات و انی لعالم بما یصلحکم و یقیم اودکم و لکنی لا اری اصلاحکم بافساد نفسی اضرع الله خدودکم و اتعس جدودکم لا تعرفون الحق کمعرفتکم الباطل و لا تبطلون الباطل کابطالکم الحق</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>529</th>\n",
              "      <td>و قال ع اتقوا الله تقیه من شمر تجریدا و جد تشمیرا و کمش فی مهل و بادر عن وجل و نظر فی کره الموئل و عاقبه المصدر و مغبه المرجع</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>239</th>\n",
              "      <td>یا ابن عباس ما یرید عثمان الا ان یجعلنی جملا ناضحا بالغرب اقبل و ادبر بعث الی‌ ان اخرج ثم بعث الی‌ ان اقدم ثم هو الان یبعث الی‌ ان اخرج و الله لقد دفعت عنه حتی خشیت ان اکون اثما</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>230</th>\n",
              "      <td>فصدع بما امر به و بلغ رسالات ربه فلم الله به الصدع و رتق به الفتق و الف به الشمل بین ذوی الارحام بعد العداوه الواغره فی الصدور و الضغائن القادحه فی القلوب</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>47</th>\n",
              "      <td>الحمد لله کلما وقب لیل و غسق و الحمد لله کلما لاح نجم و خفق و الحمد لله غیر مفقود الانعام و لا مکافا الافضال اما بعد فقد بعثت مقدمتی و امرتهم بلزوم هذا الملطاط حتی یاتیهم امری و قد رایت ان اقطع هذه النطفه الی شرذمه منکم موطنین اکناف دجله فانهضهم معکم الی عدوکم و اجعلهم من امداد القوه لکم</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>\n",
              "      <button class=\"colab-df-convert\" onclick=\"convertToInteractive('df-c6f65527-76df-4a48-8666-992e33f6abbf')\"\n",
              "              title=\"Convert this dataframe to an interactive table.\"\n",
              "              style=\"display:none;\">\n",
              "        \n",
              "  <svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\"viewBox=\"0 0 24 24\"\n",
              "       width=\"24px\">\n",
              "    <path d=\"M0 0h24v24H0V0z\" fill=\"none\"/>\n",
              "    <path d=\"M18.56 5.44l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94zm-11 1L8.5 8.5l.94-2.06 2.06-.94-2.06-.94L8.5 2.5l-.94 2.06-2.06.94zm10 10l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94z\"/><path d=\"M17.41 7.96l-1.37-1.37c-.4-.4-.92-.59-1.43-.59-.52 0-1.04.2-1.43.59L10.3 9.45l-7.72 7.72c-.78.78-.78 2.05 0 2.83L4 21.41c.39.39.9.59 1.41.59.51 0 1.02-.2 1.41-.59l7.78-7.78 2.81-2.81c.8-.78.8-2.07 0-2.86zM5.41 20L4 18.59l7.72-7.72 1.47 1.35L5.41 20z\"/>\n",
              "  </svg>\n",
              "      </button>\n",
              "      \n",
              "  <style>\n",
              "    .colab-df-container {\n",
              "      display:flex;\n",
              "      flex-wrap:wrap;\n",
              "      gap: 12px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert {\n",
              "      background-color: #E8F0FE;\n",
              "      border: none;\n",
              "      border-radius: 50%;\n",
              "      cursor: pointer;\n",
              "      display: none;\n",
              "      fill: #1967D2;\n",
              "      height: 32px;\n",
              "      padding: 0 0 0 0;\n",
              "      width: 32px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert:hover {\n",
              "      background-color: #E2EBFA;\n",
              "      box-shadow: 0px 1px 2px rgba(60, 64, 67, 0.3), 0px 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "      fill: #174EA6;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert {\n",
              "      background-color: #3B4455;\n",
              "      fill: #D2E3FC;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert:hover {\n",
              "      background-color: #434B5C;\n",
              "      box-shadow: 0px 1px 3px 1px rgba(0, 0, 0, 0.15);\n",
              "      filter: drop-shadow(0px 1px 2px rgba(0, 0, 0, 0.3));\n",
              "      fill: #FFFFFF;\n",
              "    }\n",
              "  </style>\n",
              "\n",
              "      <script>\n",
              "        const buttonEl =\n",
              "          document.querySelector('#df-c6f65527-76df-4a48-8666-992e33f6abbf button.colab-df-convert');\n",
              "        buttonEl.style.display =\n",
              "          google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "\n",
              "        async function convertToInteractive(key) {\n",
              "          const element = document.querySelector('#df-c6f65527-76df-4a48-8666-992e33f6abbf');\n",
              "          const dataTable =\n",
              "            await google.colab.kernel.invokeFunction('convertToInteractive',\n",
              "                                                     [key], {});\n",
              "          if (!dataTable) return;\n",
              "\n",
              "          const docLinkHtml = 'Like what you see? Visit the ' +\n",
              "            '<a target=\"_blank\" href=https://colab.research.google.com/notebooks/data_table.ipynb>data table notebook</a>'\n",
              "            + ' to learn more about interactive tables.';\n",
              "          element.innerHTML = '';\n",
              "          dataTable['output_type'] = 'display_data';\n",
              "          await google.colab.output.renderOutput(dataTable, element);\n",
              "          const docLink = document.createElement('div');\n",
              "          docLink.innerHTML = docLinkHtml;\n",
              "          element.appendChild(docLink);\n",
              "        }\n",
              "      </script>\n",
              "    </div>\n",
              "  </div>\n",
              "  "
            ]
          },
          "metadata": {},
          "execution_count": 24
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "mean_embedding = get_mean_embedding(model,list(sahife_complete_dict_nrmlz))\n",
        "compare_to =10 \n",
        "most_similar=get_most_similar(mean_embedding, compare_to)\n",
        "verse_complete=pd.DataFrame(sahife_complete_dict_nrmlz)\n",
        "print(verse_complete.iloc[compare_to].values)\n",
        "verse_complete.iloc[most_similar]"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 381
        },
        "id": "bhtPVZDu867j",
        "outputId": "18750b15-958b-433e-f840-f459e3e6f81c"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "[' حمدا نعمر به\\u200c فیمن حمده\\u200c من خلقه\\u200c، و نسبق به\\u200c من سبق الی رضاه\\u200c و عفوه\\u200c. ']\n"
          ]
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "                                                                                                                              0\n",
              "10                                                     حمدا نعمر به‌ فیمن حمده‌ من خلقه‌، و نسبق به‌ من سبق الی رضاه‌ و عفوه‌. \n",
              "744                                                                   حمدا لا حمد اقرب الی قولک منه‌، و لا احمد ممن یحمدک به‌. \n",
              "634        یا من تحمد الی عباده‌ بالاحسان و الفضل، و غمرهم بالمن و الطول، ما افشی فینا نعمتک، و اسبغ علینا منتک، و اخصنا ببرک! \n",
              "743                                                                  حمدا یجمع ما خلقت من الحمد، و ینتظم ما انت خالقه‌ من بعد. \n",
              "735                                                                            حمدا یستدام به‌ الاول، و یستدعی به‌ دوام الاخر. \n",
              "739                                                                             حمدا یکمل لدیک ثوابه‌، و یستغرق کل جزاء جزاؤه‌ \n",
              "528                                                       و لا یبلغ مبلغا من طاعتک و ان اجتهد الا کان مقصرا دون استحقاقک بفضلک \n",
              "741                                                                          حمدا لم یحمدک خلق مثله‌، و لا یعرف احد سواک فضله‌ \n",
              "128   و اجزل لنا فیه‌ من الحسنات، و اخلنا فیه‌ من السیئات، و املا لنا ما بین طرفیه‌ حمدا و شکرا و اجرا و ذخرا و فضلا و احسانا. \n",
              "369                        اللهم صل علی محمد و اله‌ کما شرفتنا به‌، و صل علی محمد و اله‌، کما اوجبت لنا الحق علی الخلق بسببه‌. "
            ],
            "text/html": [
              "\n",
              "  <div id=\"df-6293d73b-0b9e-4468-b542-2300267c777c\">\n",
              "    <div class=\"colab-df-container\">\n",
              "      <div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>0</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>10</th>\n",
              "      <td>حمدا نعمر به‌ فیمن حمده‌ من خلقه‌، و نسبق به‌ من سبق الی رضاه‌ و عفوه‌.</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>744</th>\n",
              "      <td>حمدا لا حمد اقرب الی قولک منه‌، و لا احمد ممن یحمدک به‌.</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>634</th>\n",
              "      <td>یا من تحمد الی عباده‌ بالاحسان و الفضل، و غمرهم بالمن و الطول، ما افشی فینا نعمتک، و اسبغ علینا منتک، و اخصنا ببرک!</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>743</th>\n",
              "      <td>حمدا یجمع ما خلقت من الحمد، و ینتظم ما انت خالقه‌ من بعد.</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>735</th>\n",
              "      <td>حمدا یستدام به‌ الاول، و یستدعی به‌ دوام الاخر.</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>739</th>\n",
              "      <td>حمدا یکمل لدیک ثوابه‌، و یستغرق کل جزاء جزاؤه‌</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>528</th>\n",
              "      <td>و لا یبلغ مبلغا من طاعتک و ان اجتهد الا کان مقصرا دون استحقاقک بفضلک</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>741</th>\n",
              "      <td>حمدا لم یحمدک خلق مثله‌، و لا یعرف احد سواک فضله‌</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>128</th>\n",
              "      <td>و اجزل لنا فیه‌ من الحسنات، و اخلنا فیه‌ من السیئات، و املا لنا ما بین طرفیه‌ حمدا و شکرا و اجرا و ذخرا و فضلا و احسانا.</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>369</th>\n",
              "      <td>اللهم صل علی محمد و اله‌ کما شرفتنا به‌، و صل علی محمد و اله‌، کما اوجبت لنا الحق علی الخلق بسببه‌.</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>\n",
              "      <button class=\"colab-df-convert\" onclick=\"convertToInteractive('df-6293d73b-0b9e-4468-b542-2300267c777c')\"\n",
              "              title=\"Convert this dataframe to an interactive table.\"\n",
              "              style=\"display:none;\">\n",
              "        \n",
              "  <svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\"viewBox=\"0 0 24 24\"\n",
              "       width=\"24px\">\n",
              "    <path d=\"M0 0h24v24H0V0z\" fill=\"none\"/>\n",
              "    <path d=\"M18.56 5.44l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94zm-11 1L8.5 8.5l.94-2.06 2.06-.94-2.06-.94L8.5 2.5l-.94 2.06-2.06.94zm10 10l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94z\"/><path d=\"M17.41 7.96l-1.37-1.37c-.4-.4-.92-.59-1.43-.59-.52 0-1.04.2-1.43.59L10.3 9.45l-7.72 7.72c-.78.78-.78 2.05 0 2.83L4 21.41c.39.39.9.59 1.41.59.51 0 1.02-.2 1.41-.59l7.78-7.78 2.81-2.81c.8-.78.8-2.07 0-2.86zM5.41 20L4 18.59l7.72-7.72 1.47 1.35L5.41 20z\"/>\n",
              "  </svg>\n",
              "      </button>\n",
              "      \n",
              "  <style>\n",
              "    .colab-df-container {\n",
              "      display:flex;\n",
              "      flex-wrap:wrap;\n",
              "      gap: 12px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert {\n",
              "      background-color: #E8F0FE;\n",
              "      border: none;\n",
              "      border-radius: 50%;\n",
              "      cursor: pointer;\n",
              "      display: none;\n",
              "      fill: #1967D2;\n",
              "      height: 32px;\n",
              "      padding: 0 0 0 0;\n",
              "      width: 32px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert:hover {\n",
              "      background-color: #E2EBFA;\n",
              "      box-shadow: 0px 1px 2px rgba(60, 64, 67, 0.3), 0px 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "      fill: #174EA6;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert {\n",
              "      background-color: #3B4455;\n",
              "      fill: #D2E3FC;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert:hover {\n",
              "      background-color: #434B5C;\n",
              "      box-shadow: 0px 1px 3px 1px rgba(0, 0, 0, 0.15);\n",
              "      filter: drop-shadow(0px 1px 2px rgba(0, 0, 0, 0.3));\n",
              "      fill: #FFFFFF;\n",
              "    }\n",
              "  </style>\n",
              "\n",
              "      <script>\n",
              "        const buttonEl =\n",
              "          document.querySelector('#df-6293d73b-0b9e-4468-b542-2300267c777c button.colab-df-convert');\n",
              "        buttonEl.style.display =\n",
              "          google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "\n",
              "        async function convertToInteractive(key) {\n",
              "          const element = document.querySelector('#df-6293d73b-0b9e-4468-b542-2300267c777c');\n",
              "          const dataTable =\n",
              "            await google.colab.kernel.invokeFunction('convertToInteractive',\n",
              "                                                     [key], {});\n",
              "          if (!dataTable) return;\n",
              "\n",
              "          const docLinkHtml = 'Like what you see? Visit the ' +\n",
              "            '<a target=\"_blank\" href=https://colab.research.google.com/notebooks/data_table.ipynb>data table notebook</a>'\n",
              "            + ' to learn more about interactive tables.';\n",
              "          element.innerHTML = '';\n",
              "          dataTable['output_type'] = 'display_data';\n",
              "          await google.colab.output.renderOutput(dataTable, element);\n",
              "          const docLink = document.createElement('div');\n",
              "          docLink.innerHTML = docLinkHtml;\n",
              "          element.appendChild(docLink);\n",
              "        }\n",
              "      </script>\n",
              "    </div>\n",
              "  </div>\n",
              "  "
            ]
          },
          "metadata": {},
          "execution_count": 25
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# Similarity with fine-tunning"
      ],
      "metadata": {
        "id": "F_LYXmc8Hq4k"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "pip install transformers -Uqq"
      ],
      "metadata": {
        "id": "NarvzJ70HvkZ"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "from transformers import BertTokenizer, BertForMaskedLM\n",
        "import torch\n",
        "from transformers import AdamW\n",
        "device = 'cuda' if torch.cuda.is_available() else 'cpu'\n",
        "\n",
        "# Mini:   asafaya/bert-mini-arabic\n",
        "# Medium: asafaya/bert-medium-arabic\n",
        "# Base:   asafaya/bert-base-arabic\n",
        "# Large:  asafaya/bert-large-arabic\n",
        "\n",
        "tokenizer = BertTokenizer.from_pretrained(\"asafaya/bert-base-arabic\")\n",
        "model = BertForMaskedLM.from_pretrained(\"asafaya/bert-base-arabic\")\n",
        "\n",
        "model=model.to(device)\n",
        "model.train()\n",
        "\n",
        "optim = AdamW(model.parameters(), lr=5e-5)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "3kc9pE0ClXrr",
        "outputId": "1c63031b-c1ed-4ae3-d525-d16dd0f18e0d"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.7/dist-packages/transformers/optimization.py:309: FutureWarning: This implementation of AdamW is deprecated and will be removed in a future version. Use the PyTorch implementation torch.optim.AdamW instead, or set `no_deprecation_warning=True` to disable this warning\n",
            "  FutureWarning,\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "raw_data = list(verse_complete_dict_nrmlz.values())\n",
        "raw_data= raw_data+list(nahj_complete_dict_nrmlz.values())\n",
        "raw_data= raw_data +list(sahife_complete_dict_nrmlz)\n",
        "inputs=tokenize(raw_data)\n",
        "inputs['labels'] = inputs.input_ids.detach().clone()"
      ],
      "metadata": {
        "id": "AycyUs_Im1_6"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "rand = torch.rand(inputs.input_ids.shape)\n",
        "mask_arr = (rand < 0.15) * (inputs.input_ids != 101) * \\\n",
        "           (inputs.input_ids != 102) * (inputs.input_ids != 0)\n",
        "mask_arr"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "EJ3CUrropGdd",
        "outputId": "b95c24c2-11ea-430c-a38d-52ef86f2056f"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "tensor([[False, False, False,  ..., False, False, False],\n",
              "        [False,  True, False,  ..., False, False, False],\n",
              "        [False, False, False,  ..., False, False, False],\n",
              "        ...,\n",
              "        [False, False, False,  ..., False, False, False],\n",
              "        [False, False, False,  ..., False, False, False],\n",
              "        [False, False, False,  ..., False, False, False]])"
            ]
          },
          "metadata": {},
          "execution_count": 33
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "selection = []\n",
        "\n",
        "for i in range(inputs.input_ids.shape[0]):\n",
        "    selection.append(\n",
        "        torch.flatten(mask_arr[i].nonzero()).tolist()\n",
        "    )\n",
        "\n",
        "for i in range(inputs.input_ids.shape[0]):\n",
        "    inputs.input_ids[i, selection[i]] = 103 #masked_tokens"
      ],
      "metadata": {
        "id": "wnf6AyR5qBmW"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "from tqdm import tqdm  # for our progress bar\n",
        "\n",
        "BATCH_SIZE = 64\n",
        "from torch.utils.data import TensorDataset, DataLoader\n",
        "dataset=TensorDataset(inputs.input_ids, inputs.attention_mask,inputs.labels)\n",
        "dataloader = DataLoader(dataset,batch_size=BATCH_SIZE,drop_last=False,shuffle=True)\n",
        "\n",
        "\n",
        "epochs = 10\n",
        "\n",
        "for epoch in range(epochs):\n",
        "    loop = tqdm(dataloader, leave=True)\n",
        "    for batch in loop:\n",
        "        optim.zero_grad()\n",
        "\n",
        "        input_ids, attention_mask,labels = batch\n",
        "        outputs = model(input_ids.to(device), attention_mask=attention_mask.to(device),\n",
        "                        labels=labels.to(device))\n",
        "        loss = outputs.loss\n",
        "        loss.backward()\n",
        "        optim.step()\n",
        "        loop.set_description(f'Epoch {epoch}')\n",
        "        loop.set_postfix(loss=loss.item())\n",
        "\n",
        "\n",
        "model.save_pretrained(\"model-trained-on-arabic\")"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "u-F1YAaDqKVw",
        "outputId": "34cd4705-ea36-45a3-c3c2-c670b7ab0ce9"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "Epoch 0: 100%|██████████| 98/98 [01:25<00:00,  1.14it/s, loss=0.0948]\n",
            "Epoch 1: 100%|██████████| 98/98 [01:24<00:00,  1.16it/s, loss=0.0695]\n",
            "Epoch 2: 100%|██████████| 98/98 [01:24<00:00,  1.16it/s, loss=0.0478]\n",
            "Epoch 3: 100%|██████████| 98/98 [01:24<00:00,  1.16it/s, loss=0.0611]\n",
            "Epoch 4: 100%|██████████| 98/98 [01:24<00:00,  1.16it/s, loss=0.0627]\n",
            "Epoch 5: 100%|██████████| 98/98 [01:24<00:00,  1.16it/s, loss=0.0436]\n",
            "Epoch 6: 100%|██████████| 98/98 [01:24<00:00,  1.16it/s, loss=0.038]\n",
            "Epoch 7: 100%|██████████| 98/98 [01:24<00:00,  1.16it/s, loss=0.0322]\n",
            "Epoch 8: 100%|██████████| 98/98 [01:24<00:00,  1.16it/s, loss=0.0356]\n",
            "Epoch 9: 100%|██████████| 98/98 [01:24<00:00,  1.16it/s, loss=0.0129]\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "from transformers import AutoTokenizer, AutoModel\n",
        "import torch\n",
        "device = 'cuda' if torch.cuda.is_available() else 'cpu'\n",
        "\n",
        "tokenizer = AutoTokenizer.from_pretrained(\"asafaya/bert-base-arabic\")\n",
        "model = AutoModel.from_pretrained(\"model-trained-on-arabic\")\n",
        "model=model.to(device)\n",
        "model.eval()\n",
        "device"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 146
        },
        "id": "P-ex8p-sy-et",
        "outputId": "9cbf8458-347b-46cd-81ab-c9e8634ffced"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "Some weights of the model checkpoint at model-trained-on-arabic were not used when initializing BertModel: ['cls.predictions.bias', 'cls.predictions.decoder.bias', 'cls.predictions.transform.LayerNorm.bias', 'cls.predictions.transform.dense.bias', 'cls.predictions.transform.dense.weight', 'cls.predictions.transform.LayerNorm.weight', 'cls.predictions.decoder.weight']\n",
            "- This IS expected if you are initializing BertModel from the checkpoint of a model trained on another task or with another architecture (e.g. initializing a BertForSequenceClassification model from a BertForPreTraining model).\n",
            "- This IS NOT expected if you are initializing BertModel from the checkpoint of a model that you expect to be exactly identical (initializing a BertForSequenceClassification model from a BertForSequenceClassification model).\n",
            "Some weights of BertModel were not initialized from the model checkpoint at model-trained-on-arabic and are newly initialized: ['bert.pooler.dense.bias', 'bert.pooler.dense.weight']\n",
            "You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.\n"
          ]
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "'cuda'"
            ],
            "application/vnd.google.colaboratory.intrinsic+json": {
              "type": "string"
            }
          },
          "metadata": {},
          "execution_count": 36
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "mean_embedding = get_mean_embedding(model,list(verse_complete_dict_nrmlz.values()))"
      ],
      "metadata": {
        "id": "alvfW5ys0h7h"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "compare_to = 30\n",
        "\n",
        "most_similar=get_most_similar(mean_embedding, compare_to)\n",
        "\n",
        "verse_complete=pd.DataFrame(verse_complete_dict_nrmlz.values())\n",
        "print(verse_complete.iloc[compare_to].values)\n",
        "\n",
        "verse_complete.iloc[most_similar]"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 442
        },
        "id": "Ek6fNhS4zpQ4",
        "outputId": "5eb9221a-152c-459b-a90a-d73ea5402395"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "['فان لم تفعلوا ولن تفعلوا فاتقوا النار التي وقودها الناس والحجاره ۖ اعدت للكافرين']\n"
          ]
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "                                                                                                                                                                                                                     0\n",
              "30                                                                                                                                    فان لم تفعلوا ولن تفعلوا فاتقوا النار التي وقودها الناس والحجاره ۖ اعدت للكافرين\n",
              "689                                                                                                                               يا قوم ادخلوا الارض المقدسه التي كتب الله لكم ولا ترتدوا علي ادباركم فتنقلبوا خاسرين\n",
              "3522                                                                                             واما الذين فسقوا فماواهم النار ۖ كلما ارادوا ان يخرجوا منها اعيدوا فيها وقيل لهم ذوقوا عذاب النار الذي كنتم به تكذبون\n",
              "5234                                                                                 يا ايها الذين امنوا قوا انفسكم واهليكم نارا وقودها الناس والحجاره عليها ملائكه غلاظ شداد لا يعصون الله ما امرهم ويفعلون ما يؤمرون\n",
              "5116                                                                    ااشفقتم ان تقدموا بين يدي نجواكم صدقات ۚ فاذ لم تفعلوا وتاب الله عليكم فاقيموا الصلاه واتوا الزكاه واطيعوا الله ورسوله ۚ والله خبير بما تعملون\n",
              "3638             وقال الذين استضعفوا للذين استكبروا بل مكر الليل والنهار اذ تامروننا ان نكفر بالله ونجعل له اندادا ۚ واسروا الندامه لما راوا العذاب وجعلنا الاغلال في اعناق الذين كفروا ۚ هل يجزون الا ما كانوا يعملون\n",
              "999                                                                                                     وبينهما حجاب ۚ وعلي الاعراف رجال يعرفون كلا بسيماهم ۚ ونادوا اصحاب الجنه ان سلام عليكم ۚ لم يدخلوها وهم يطمعون\n",
              "3351                                                                                                         وقال الذين كفروا للذين امنوا اتبعوا سبيلنا ولنحمل خطاياكم وما هم بحاملين من خطاياهم من شيء ۖ انهم لكاذبون\n",
              "441                                                                                                                                       يا ايها الذين امنوا ان تطيعوا الذين كفروا يردوكم علي اعقابكم فتنقلبوا خاسرين\n",
              "4548  فاذا لقيتم الذين كفروا فضرب الرقاب حتي اذا اثخنتموهم فشدوا الوثاق فاما منا بعد واما فداء حتي تضع الحرب اوزارها ۚ ذلك ولو يشاء الله لانتصر منهم ولكن ليبلو بعضكم ببعض ۗ والذين قتلوا في سبيل الله فلن يضل اعمالهم"
            ],
            "text/html": [
              "\n",
              "  <div id=\"df-1edb50d3-bb01-482a-bb59-a1b2c03d0f5f\">\n",
              "    <div class=\"colab-df-container\">\n",
              "      <div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>0</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>30</th>\n",
              "      <td>فان لم تفعلوا ولن تفعلوا فاتقوا النار التي وقودها الناس والحجاره ۖ اعدت للكافرين</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>689</th>\n",
              "      <td>يا قوم ادخلوا الارض المقدسه التي كتب الله لكم ولا ترتدوا علي ادباركم فتنقلبوا خاسرين</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3522</th>\n",
              "      <td>واما الذين فسقوا فماواهم النار ۖ كلما ارادوا ان يخرجوا منها اعيدوا فيها وقيل لهم ذوقوا عذاب النار الذي كنتم به تكذبون</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>5234</th>\n",
              "      <td>يا ايها الذين امنوا قوا انفسكم واهليكم نارا وقودها الناس والحجاره عليها ملائكه غلاظ شداد لا يعصون الله ما امرهم ويفعلون ما يؤمرون</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>5116</th>\n",
              "      <td>ااشفقتم ان تقدموا بين يدي نجواكم صدقات ۚ فاذ لم تفعلوا وتاب الله عليكم فاقيموا الصلاه واتوا الزكاه واطيعوا الله ورسوله ۚ والله خبير بما تعملون</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3638</th>\n",
              "      <td>وقال الذين استضعفوا للذين استكبروا بل مكر الليل والنهار اذ تامروننا ان نكفر بالله ونجعل له اندادا ۚ واسروا الندامه لما راوا العذاب وجعلنا الاغلال في اعناق الذين كفروا ۚ هل يجزون الا ما كانوا يعملون</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>999</th>\n",
              "      <td>وبينهما حجاب ۚ وعلي الاعراف رجال يعرفون كلا بسيماهم ۚ ونادوا اصحاب الجنه ان سلام عليكم ۚ لم يدخلوها وهم يطمعون</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3351</th>\n",
              "      <td>وقال الذين كفروا للذين امنوا اتبعوا سبيلنا ولنحمل خطاياكم وما هم بحاملين من خطاياهم من شيء ۖ انهم لكاذبون</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>441</th>\n",
              "      <td>يا ايها الذين امنوا ان تطيعوا الذين كفروا يردوكم علي اعقابكم فتنقلبوا خاسرين</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4548</th>\n",
              "      <td>فاذا لقيتم الذين كفروا فضرب الرقاب حتي اذا اثخنتموهم فشدوا الوثاق فاما منا بعد واما فداء حتي تضع الحرب اوزارها ۚ ذلك ولو يشاء الله لانتصر منهم ولكن ليبلو بعضكم ببعض ۗ والذين قتلوا في سبيل الله فلن يضل اعمالهم</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>\n",
              "      <button class=\"colab-df-convert\" onclick=\"convertToInteractive('df-1edb50d3-bb01-482a-bb59-a1b2c03d0f5f')\"\n",
              "              title=\"Convert this dataframe to an interactive table.\"\n",
              "              style=\"display:none;\">\n",
              "        \n",
              "  <svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\"viewBox=\"0 0 24 24\"\n",
              "       width=\"24px\">\n",
              "    <path d=\"M0 0h24v24H0V0z\" fill=\"none\"/>\n",
              "    <path d=\"M18.56 5.44l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94zm-11 1L8.5 8.5l.94-2.06 2.06-.94-2.06-.94L8.5 2.5l-.94 2.06-2.06.94zm10 10l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94z\"/><path d=\"M17.41 7.96l-1.37-1.37c-.4-.4-.92-.59-1.43-.59-.52 0-1.04.2-1.43.59L10.3 9.45l-7.72 7.72c-.78.78-.78 2.05 0 2.83L4 21.41c.39.39.9.59 1.41.59.51 0 1.02-.2 1.41-.59l7.78-7.78 2.81-2.81c.8-.78.8-2.07 0-2.86zM5.41 20L4 18.59l7.72-7.72 1.47 1.35L5.41 20z\"/>\n",
              "  </svg>\n",
              "      </button>\n",
              "      \n",
              "  <style>\n",
              "    .colab-df-container {\n",
              "      display:flex;\n",
              "      flex-wrap:wrap;\n",
              "      gap: 12px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert {\n",
              "      background-color: #E8F0FE;\n",
              "      border: none;\n",
              "      border-radius: 50%;\n",
              "      cursor: pointer;\n",
              "      display: none;\n",
              "      fill: #1967D2;\n",
              "      height: 32px;\n",
              "      padding: 0 0 0 0;\n",
              "      width: 32px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert:hover {\n",
              "      background-color: #E2EBFA;\n",
              "      box-shadow: 0px 1px 2px rgba(60, 64, 67, 0.3), 0px 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "      fill: #174EA6;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert {\n",
              "      background-color: #3B4455;\n",
              "      fill: #D2E3FC;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert:hover {\n",
              "      background-color: #434B5C;\n",
              "      box-shadow: 0px 1px 3px 1px rgba(0, 0, 0, 0.15);\n",
              "      filter: drop-shadow(0px 1px 2px rgba(0, 0, 0, 0.3));\n",
              "      fill: #FFFFFF;\n",
              "    }\n",
              "  </style>\n",
              "\n",
              "      <script>\n",
              "        const buttonEl =\n",
              "          document.querySelector('#df-1edb50d3-bb01-482a-bb59-a1b2c03d0f5f button.colab-df-convert');\n",
              "        buttonEl.style.display =\n",
              "          google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "\n",
              "        async function convertToInteractive(key) {\n",
              "          const element = document.querySelector('#df-1edb50d3-bb01-482a-bb59-a1b2c03d0f5f');\n",
              "          const dataTable =\n",
              "            await google.colab.kernel.invokeFunction('convertToInteractive',\n",
              "                                                     [key], {});\n",
              "          if (!dataTable) return;\n",
              "\n",
              "          const docLinkHtml = 'Like what you see? Visit the ' +\n",
              "            '<a target=\"_blank\" href=https://colab.research.google.com/notebooks/data_table.ipynb>data table notebook</a>'\n",
              "            + ' to learn more about interactive tables.';\n",
              "          element.innerHTML = '';\n",
              "          dataTable['output_type'] = 'display_data';\n",
              "          await google.colab.output.renderOutput(dataTable, element);\n",
              "          const docLink = document.createElement('div');\n",
              "          docLink.innerHTML = docLinkHtml;\n",
              "          element.appendChild(docLink);\n",
              "        }\n",
              "      </script>\n",
              "    </div>\n",
              "  </div>\n",
              "  "
            ]
          },
          "metadata": {},
          "execution_count": 38
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "mean_embedding = get_mean_embedding(model,list(nahj_complete_dict_nrmlz.values()))\n",
        "compare_to = 30\n",
        "\n",
        "most_similar=get_most_similar(mean_embedding, compare_to)\n",
        "\n",
        "verse_complete=pd.DataFrame(nahj_complete_dict_nrmlz.values())\n",
        "print(verse_complete.iloc[compare_to].values)\n",
        "\n",
        "verse_complete.iloc[most_similar]"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 1000
        },
        "id": "sxqsSk7KEJ8J",
        "outputId": "45bbe9dc-4009-4f8f-fbfa-b8f63651d09f"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "['لا تلقین طلحه فانک ان تلقه تجده کالثور عاقصا قرنه یرکب الصعب و یقول هو الذلول و لکن الق الزبیر فانه الین عریکه فقل له یقول لک ابن خالک عرفتنی بالحجاز و انکرتنی بالعراق فما عدا مما بدا']\n"
          ]
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            0\n",
              "30                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    لا تلقین طلحه فانک ان تلقه تجده کالثور عاقصا قرنه یرکب الصعب و یقول هو الذلول و لکن الق الزبیر فانه الین عریکه فقل له یقول لک ابن خالک عرفتنی بالحجاز و انکرتنی بالعراق فما عدا مما بدا\n",
              "208                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             ما کنت تصنع بسعه هذه الدار فی الدنیا و انت الیها فی الاخره کنت احوج و بلی ان شئت بلغت بها الاخره تقری فیها الضیف و تصل فیها الرحم و تطلع منها الحقوق مطالعها فاذا انت قد بلغت بها الاخره فقال له العلاء یا امیر المؤمنین اشکو الیک اخی عاصم بن زیاد قال و ما له قال لبس العباءه و تخلی عن الدنیا قال علی به فلما جاء قال یا عدی‌ نفسه لقد استهام بک الخبیث ا ما رحمت اهلک و ولدک ا تری الله احل لک الطیبات و هو یکره ان تاخذها انت اهون علی الله من ذلک قال یا امیر المؤمنین هذا انت فی خشونه ملبسک و جشوبه ماکلک قال ویحک انی لست کانت ان الله تعالی فرض علی ائمه العدل ان یقدروا انفسهم بضعفه الناس کیلا یتبیغ بالفقیر فقره\n",
              "396                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           و من خبر ضرار بن حمزه الضبائی‌ عند دخوله علی معاویه و مسالته له عن امیر المؤمنین ع و قال فاشهد لقد رایته فی بعض مواقفه و قد ارخی اللیل سدوله و هو قائم فی محرابه قابض علی لحیته یتململ تململ السلیم و یبکی بکاء الحزین و یقول یا دنیا یا دنیا الیک عنی ا بی تعرضت ام الی‌ تشوقت لا حان حینک هیهات غری غیری لا حاجه لی فیک قد طلقتک ثلاثا لا رجعه فیها فعیشک قصیر و خطرک یسیر و املک حقیر اه من قله الزاد و طول الطریق و بعد السفر و عظیم المورد\n",
              "241                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        من عبد الله علی امیر المؤمنین الی اهل الکوفه جبهه الانصار و سنام العرب اما بعد فانی اخبرکم عن امر عثمان حتی یکون سمعه کعیانه ان الناس طعنوا علیه فکنت رجلا من المهاجرین اکثر استعتابه و اقل عتابه و کان طلحه و الزبیر اهون سیرهما فیه الوجیف و ارفق حدائهما العنیف و کان من عائشه فیه فلته غضب فاتیح له قوم فقتلوه و بایعنی الناس غیر مستکرهین و لا مجبرین بل طائعین مخیرین و اعلموا ان دار الهجره قد قلعت باهلها و قلعوا بها و جاشت جیش المرجل و قامت الفتنه علی القطب فاسرعوا الی امیرکم و بادروا جهاد عدوکم ان شاء الله عز و جل\n",
              "243                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           و روی‌ ان شریح بن الحارث قاضی‌ امیر المؤمنین ع اشتری علی عهده دارا بثمانین دینارا فبلغه ذلک فاستدعی شریحا و قال له بلغنی انک ابتعت دارا بثمانین دینارا و کتبت لها کتابا و اشهدت فیه شهودا فقال له شریح قد کان ذلک یا امیر المؤمنین قال فنظر الیه نظر المغضب ثم قال له یا شریح اما انه سیاتیک من لا ینظر فی کتابک و لا یسالک عن بینتک حتی یخرجک منها شاخصا و یسلمک الی قبرک خالصا فانظر یا شریح لا تکون ابتعت هذه الدار من غیر مالک او نقدت الثمن من غیر حلالک فاذا انت قد خسرت دار الدنیا و دار الاخره. اما انک لو کنت اتیتنی عند شرائک ما اشتریت لکتبت لک کتابا علی هذه النسخه فلم ترغب فی شراء هذه الدار بدرهم فما فوق و النسخه هذه هذا ما اشتری عبد ذلیل من میت قد ازعج للرحیل اشتری منه دارا من دار الغرور من جانب الفانین و خطه الهالکین و تجمع هذه الدار حدود اربعه الحد الاول ینتهی الی دواعی الافات و الحد الثانی ینتهی الی دواعی المصیبات و الحد الثالث ینتهی الی الهوی المردی و الحد الرابع ینتهی الی الشیطان المغوی و فیه یشرع باب هذه الدار اشتری هذا المغتر بالامل من هذا المزعج بالاجل هذه الدار بالخروج من عز القناعه و الدخول فی ذل الطلب و الضراعه فما ادرک هذا المشتری فیما اشتری منه من درک فعلی مبلبل اجسام الملوک و سالب نفوس الجبابره و مزیل ملک الفراعنه مثل کسری و قیصر و تبع و حمیر و من جمع المال علی المال فاکثر و من بنی و شید و زخرف و نجد و ادخر و اعتقد و نظر بزعمه للولد اشخاصهم جمیعا الی موقف العرض و الحساب و موضع الثواب و العقاب اذا وقع الامر بفصل القضاءو خسر هنالک المبطلونشهد علی ذلک العقل اذا خرج من اسر الهوی و سلم من علائق الدنیا\n",
              "18                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   ما یدریک ما علی مما لی علیک لعنه الله و لعنه اللاعنین حائک ابن حائک منافق ابن کافر و الله لقد اسرک الکفر مره و الاسلام اخری فما فداک من واحده منهما مالک و لا حسبک و ان امرا دل علی قومه السیف و ساق الیهم الحتف لحری‌ ان یمقته الاقرب و لا یامنه الابعد\n",
              "608                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           و قال ع کان لی فیما مضی اخ فی الله و کان یعظمه فی عینی صغر الدنیا فی عینه و کان خارجا من سلطان بطنه فلا یشتهی ما لا یجد و لا یکثر اذا وجد و کان اکثر دهره صامتا فان قال بذ القائلین و نقع غلیل السائلین و کان ضعیفا مستضعفا فان جاء الجد فهو لیث غاب و صل واد لا یدلی بحجه حتی یاتی‌ قاضیا و کان لا یلوم احدا علی ما یجد العذر فی مثله حتی یسمع اعتذاره و کان لا یشکو وجعا الا عند برئه و کان یقول ما یفعل و لا یقول ما لا یفعل و کان اذا غلب علی الکلام لم یغلب علی السکوت و کان علی ما یسمع احرص منه علی ان یتکلم و کان اذا بدهه امران ینظر ایهما اقرب الی الهوی فیخالفه فعلیکم بهذه الخلائق فالزموها و تنافسوا فیها فان لم تستطیعوها فاعلموا ان اخذ القلیل خیر من ترک الکثیر\n",
              "171                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          الحمد لله الذی لا تواری عنه سماء سماء و لا ارض ارضا منها و قد قال قائل انک علی هذا الامر یا ابن ابی طالب لحریص فقلت بل انتم و الله لاحرص و ابعد و انا اخص و اقرب و انما طلبت حقا لی و انتم تحولون بینی و بینه و تضربون وجهی دونه فلما قرعته بالحجه فی الملا الحاضرین هب کانه بهت لا یدری ما یجیبنی به اللهم انی استعدیک علی قریش و من اعانهم فانهم قطعوا رحمی و صغروا عظیم منزلتی‌ و اجمعوا علی منازعتی امرا هو لی ثم قالوا الا ان فی الحق ان تاخذه و فی الحق ان تترکه فخرجوا یجرون حرمه رسول الله\n",
              "ص کما تجر الامه عند شرائها متوجهین بها الی البصره فحبسا نساءهما فی بیوتهما و ابرزا حبیس رسول الله\n",
              "ص لهما و لغیرهما فی جیش ما منهم رجل الا و قد اعطانی الطاعه و سمح لی بالبیعه طائعا غیر مکره فقدموا علی عاملی بها و خزان بیت مال المسلمین و غیرهم من اهلها فقتلوا طائفه صبرا و طائفه غدرا فوالله لو لم یصیبوا من المسلمین الا رجلا واحدا معتمدین لقتله بلا جرم جره لحل لی قتل ذلک الجیش کله اذ حضروه فلم ینکروا و لم یدفعوا عنه بلسان و لا بید دع ما انهم قد قتلوا من المسلمین مثل العده التی دخلوا بها علیهم\n",
              "285  اما بعد یا ابن حنیف فقد بلغنی ان رجلا من فتیه اهل البصره دعاک الی مادبه فاسرعت الیها تستطاب لک الالوان و تنقل الیک الجفان و ما ظننت انک تجیب الی طعام قوم عائلهم مجفو و غنیهم مدعو فانظر الی ما تقضمه من هذا المقضم فما اشتبه علیک علمه فالفظه و ما ایقنت بطیب وجوهه فنل منه الا و ان لکل ماموم اماما یقتدی به و یستضی‌ء بنور علمه الا و ان امامکم قد اکتفی من دنیاه بطمریه و من طعمه بقرصیه الا و انکم لا تقدرون علی ذلک و لکن اعینونی بورع و اجتهاد و عفه و سداد فوالله ما کنزت من دنیاکم تبرا و لا ادخرت من غنائمها وفرا و لا اعددت لبالی ثوبی طمرا و لا حزت من ارضها شبرا و لا اخذت منه الا کقوت اتان دبره و لهی‌ فی عینی اوهی و اوهن من عفصه مقره بلی کانت فی ایدینا فدک من کل ما اظلته السماء فشحت علیها نفوس قوم و سخت عنها نفوس قوم اخرین و نعم الحکم الله و ما اصنع بفدک و غیر فدک و النفس مظانها فی غد جدث تنقطع فی ظلمته اثارها و تغیب اخبارها و حفره لو زید فی فسحتها و اوسعت یدا حافرها لاضغطها الحجر و المدر و سد فرجها التراب المتراکم و انما هی‌ نفسی اروضها بالتقوی لتاتی‌ امنه یوم الخوف الاکبر و تثبت علی جوانب المزلق و لو شئت لاهتدیت الطریق الی مصفی هذا العسل و لباب هذا القمح و نسائج هذا القز و لکن هیهات ان یغلبنی هوای‌ و یقودنی جشعی الی تخیر الاطعمه و لعل بالحجاز او الیمامه من لا طمع له فی القرص و لا عهد له بالشبع او ابیت مبطانا و حولی بطون غرثی و اکباد حری او اکون کما قال القائل و حسبک داء ان تبیت ببطنه || و حولک اکباد تحن الی القد ا اقنع من نفسی بان یقال هذا امیر المؤمنین و لا اشارکهم فی مکاره الدهر او اکون اسوه لهم فی جشوبه العیش فما خلقت لیشغلنی اکل الطیبات کالبهیمه المربوطه همها علفها او المرسله شغلها تقممها تکترش من اعلافها و تلهو عما یراد بها او اترک سدی او اهمل عابثا او اجر حبل الضلاله او اعتسف طریق المتاهه و کانی بقائلکم یقول اذا کان هذا قوت ابن ابی طالب فقد قعد به الضعف عن قتال الاقران و منازله الشجعان الا و ان الشجره البریه اصلب عودا و الرواتع الخضره ارق جلودا و النابتات العذیه اقوی وقودا و ابطا خمودا. و انا من رسول الله کالضوء من الضوء و الذراع من العضد و الله لو تظاهرت العرب علی قتالی لما ولیت عنها و لو امکنت الفرص من رقابها لسارعت الیها و ساجهد فی ان اطهر الارض من هذا الشخص المعکوس و الجسم المرکوس حتی تخرج المدره من بین حب الحصید و من هذا الکتاب و هو اخره الیک عنی یا دنیا فحبلک علی غاربک قد انسللت من مخالبک و افلت من حبائلک و اجتنبت الذهاب فی مداحضک این القرون الذین غررتهم بمداعبک این الامم الذین فتنتهم بزخارفک فها هم رهائن القبور و مضامین اللحود و الله لو کنت شخصا مرئیا و قالبا حسیا لاقمت علیک حدود الله فی عباد غررتهم بالامانی‌ و امم القیتهم فی المهاوی و ملوک اسلمتهم الی التلف و اوردتهم موارد البلاء اذ لا ورد و لا صدر هیهات من وطئ دحضک زلق و من رکب لججک غرق و من ازور عن حبائلک وفق و السالم منک لا یبالی ان ضاق به مناخه و الدنیا عنده کیوم حان انسلاخه اعزبی عنی فوالله لا اذل لک فتستذلینی و لا اسلس لک فتقودینی و ایم الله یمینا استثنی فیها بمشیئه الله لاروضن نفسی ریاضه تهش معها الی القرص اذا قدرت علیه مطعوما و تقنع بالملح مادوما و لادعن مقلتی کعین ماء نضب معینها مستفرغه دموعها ا تمتلئ السائمه من رعیها فتبرک و تشبع الربیضه من عشبها فتربض و یاکل علی من زاده فیهجع قرت اذا عینه اذا اقتدی بعد السنین المتطاوله بالبهیمه الهامله و السائمه المرعیه طوبی لنفس ادت الی ربها فرضها و عرکت بجنبها بؤسها و هجرت فی اللیل غمضها حتی اذا غلب الکری علیها افترشت ارضها و توسدت کفها فی معشر اسهر عیونهم خوف معادهم و تجافت عن مضاجعهم جنوبهم و همهمت بذکر ربهم شفاههم و تقشعت بطول استغفارهم ذنوبهماولئک حزب الله الا ان حزب الله هم المفلحونفاتق الله یا ابن حنیف و لتکفف اقراصک لیکون من النار خلاصک\n",
              "2                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    اما و الله لقد تقمصها فلان و انه لیعلم ان محلی منها محل القطب من الرحی ینحدر عنی السیل و لا یرقی الی‌ الطیر فسدلت دونها ثوبا و طویت عنها کشحا و طفقت ارتئی بین ان اصول بید جذاء او اصبر علی طخیه عمیاء یهرم فیها الکبیر و یشیب فیها الصغیر و یکدح فیها مؤمن حتی یلقی ربه فرایت ان الصبر علی هاتا احجی فصبرت و فی العین قذی و فی الحلق شجا اری تراثی نهبا حتی مضی الاول لسبیله فادلی بها الی فلان بعده ثم تمثل بقول الاعشی شتان ما یومی علی کورها || و یوم حیان اخی جابر فیا عجبا بینا هو یستقیلها فی حیاته اذ عقدها لاخر بعد وفاته لشد ما تشطرا ضرعیها فصیرها فی حوزه خشناء یغلظ کلمها و یخشن مسها و یکثر العثار فیها و الاعتذار منها فصاحبها کراکب الصعبه ان اشنق لها خرم و ان اسلس لها تقحم فمنی‌ الناس لعمر الله بخبط و شماس و تلون و اعتراض فصبرت علی طول المده و شده المحنه حتی اذا مضی لسبیله جعلها فی جماعه زعم انی احدهم فیا لله و للشوری متی اعترض الریب فی مع الاول منهم حتی صرت اقرن الی هذه النظائر لکنی اسففت اذ اسفوا و طرت اذ طاروا فصغا رجل منهم لضغنه و مال الاخر لصهره مع هن و هن الی ان قام ثالث القوم نافجا حضنیه بین نثیله و معتلفه و قام معه بنو ابیه یخضمون مال الله خضمه الابل نبته الربیع الی ان انتکث علیه فتله و اجهز علیه عمله و کبت به بطنته فما راعنی الا و الناس کعرف الضبع الی‌ ینثالون علی من کل جانب حتی لقد وطئ الحسنان و شق عطفای‌ مجتمعین حولی کربیضه الغنم فلما نهضت بالامر نکثت طائفه و مرقت اخری و قسط اخرون کانهم لم یسمعوا الله سبحانه یقولتلک الدار الاخره نجعلها للذین لا یریدون علوا فی الارض و لا فسادا و العاقبه للمتقینبلی و الله لقد سمعوها و وعوها و لکنهم حلیت الدنیا فی اعینهم و راقهم زبرجها اما و الذی فلق الحبه و برا النسمه لو لا حضور الحاضر و قیام الحجه بوجود الناصر و ما اخذ الله علی العلماء الا یقاروا علی کظه ظالم و لا سغب مظلوم لالقیت حبلها علی غاربها و لسقیت اخرها بکاس اولها و لالفیتم دنیاکم هذه ازهد عندی من عفطه عنز قالوا و قام الیه رجل من اهل السواد عند بلوغه الی هذا الموضع من خطبته فناوله کتابا قیل ان فیه مسائل کان یرید الاجابه عنها فاقبل ینظر فیه فلما فرغ من قراءته قال له ابن عباس یا امیر المؤمنین لو اطردت خطبتک من حیث افضیت فقال هیهات یا ابن عباس تلک شقشقه هدرت ثم قرت قال ابن عباس فوالله ما اسفت علی کلام قط کاسفی علی هذا الکلام الا یکون امیر المؤمنین ع بلغ منه حیث اراد"
            ],
            "text/html": [
              "\n",
              "  <div id=\"df-28697c09-a3f4-4378-8c0a-cd6da1c3e307\">\n",
              "    <div class=\"colab-df-container\">\n",
              "      <div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>0</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>30</th>\n",
              "      <td>لا تلقین طلحه فانک ان تلقه تجده کالثور عاقصا قرنه یرکب الصعب و یقول هو الذلول و لکن الق الزبیر فانه الین عریکه فقل له یقول لک ابن خالک عرفتنی بالحجاز و انکرتنی بالعراق فما عدا مما بدا</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>208</th>\n",
              "      <td>ما کنت تصنع بسعه هذه الدار فی الدنیا و انت الیها فی الاخره کنت احوج و بلی ان شئت بلغت بها الاخره تقری فیها الضیف و تصل فیها الرحم و تطلع منها الحقوق مطالعها فاذا انت قد بلغت بها الاخره فقال له العلاء یا امیر المؤمنین اشکو الیک اخی عاصم بن زیاد قال و ما له قال لبس العباءه و تخلی عن الدنیا قال علی به فلما جاء قال یا عدی‌ نفسه لقد استهام بک الخبیث ا ما رحمت اهلک و ولدک ا تری الله احل لک الطیبات و هو یکره ان تاخذها انت اهون علی الله من ذلک قال یا امیر المؤمنین هذا انت فی خشونه ملبسک و جشوبه ماکلک قال ویحک انی لست کانت ان الله تعالی فرض علی ائمه العدل ان یقدروا انفسهم بضعفه الناس کیلا یتبیغ بالفقیر فقره</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>396</th>\n",
              "      <td>و من خبر ضرار بن حمزه الضبائی‌ عند دخوله علی معاویه و مسالته له عن امیر المؤمنین ع و قال فاشهد لقد رایته فی بعض مواقفه و قد ارخی اللیل سدوله و هو قائم فی محرابه قابض علی لحیته یتململ تململ السلیم و یبکی بکاء الحزین و یقول یا دنیا یا دنیا الیک عنی ا بی تعرضت ام الی‌ تشوقت لا حان حینک هیهات غری غیری لا حاجه لی فیک قد طلقتک ثلاثا لا رجعه فیها فعیشک قصیر و خطرک یسیر و املک حقیر اه من قله الزاد و طول الطریق و بعد السفر و عظیم المورد</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>241</th>\n",
              "      <td>من عبد الله علی امیر المؤمنین الی اهل الکوفه جبهه الانصار و سنام العرب اما بعد فانی اخبرکم عن امر عثمان حتی یکون سمعه کعیانه ان الناس طعنوا علیه فکنت رجلا من المهاجرین اکثر استعتابه و اقل عتابه و کان طلحه و الزبیر اهون سیرهما فیه الوجیف و ارفق حدائهما العنیف و کان من عائشه فیه فلته غضب فاتیح له قوم فقتلوه و بایعنی الناس غیر مستکرهین و لا مجبرین بل طائعین مخیرین و اعلموا ان دار الهجره قد قلعت باهلها و قلعوا بها و جاشت جیش المرجل و قامت الفتنه علی القطب فاسرعوا الی امیرکم و بادروا جهاد عدوکم ان شاء الله عز و جل</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>243</th>\n",
              "      <td>و روی‌ ان شریح بن الحارث قاضی‌ امیر المؤمنین ع اشتری علی عهده دارا بثمانین دینارا فبلغه ذلک فاستدعی شریحا و قال له بلغنی انک ابتعت دارا بثمانین دینارا و کتبت لها کتابا و اشهدت فیه شهودا فقال له شریح قد کان ذلک یا امیر المؤمنین قال فنظر الیه نظر المغضب ثم قال له یا شریح اما انه سیاتیک من لا ینظر فی کتابک و لا یسالک عن بینتک حتی یخرجک منها شاخصا و یسلمک الی قبرک خالصا فانظر یا شریح لا تکون ابتعت هذه الدار من غیر مالک او نقدت الثمن من غیر حلالک فاذا انت قد خسرت دار الدنیا و دار الاخره. اما انک لو کنت اتیتنی عند شرائک ما اشتریت لکتبت لک کتابا علی هذه النسخه فلم ترغب فی شراء هذه الدار بدرهم فما فوق و النسخه هذه هذا ما اشتری عبد ذلیل من میت قد ازعج للرحیل اشتری منه دارا من دار الغرور من جانب الفانین و خطه الهالکین و تجمع هذه الدار حدود اربعه الحد الاول ینتهی الی دواعی الافات و الحد الثانی ینتهی الی دواعی المصیبات و الحد الثالث ینتهی الی الهوی المردی و الحد الرابع ینتهی الی الشیطان المغوی و فیه یشرع باب هذه الدار اشتری هذا المغتر بالامل من هذا المزعج بالاجل هذه الدار بالخروج من عز القناعه و الدخول فی ذل الطلب و الضراعه فما ادرک هذا المشتری فیما اشتری منه من درک فعلی مبلبل اجسام الملوک و سالب نفوس الجبابره و مزیل ملک الفراعنه مثل کسری و قیصر و تبع و حمیر و من جمع المال علی المال فاکثر و من بنی و شید و زخرف و نجد و ادخر و اعتقد و نظر بزعمه للولد اشخاصهم جمیعا الی موقف العرض و الحساب و موضع الثواب و العقاب اذا وقع الامر بفصل القضاءو خسر هنالک المبطلونشهد علی ذلک العقل اذا خرج من اسر الهوی و سلم من علائق الدنیا</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>18</th>\n",
              "      <td>ما یدریک ما علی مما لی علیک لعنه الله و لعنه اللاعنین حائک ابن حائک منافق ابن کافر و الله لقد اسرک الکفر مره و الاسلام اخری فما فداک من واحده منهما مالک و لا حسبک و ان امرا دل علی قومه السیف و ساق الیهم الحتف لحری‌ ان یمقته الاقرب و لا یامنه الابعد</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>608</th>\n",
              "      <td>و قال ع کان لی فیما مضی اخ فی الله و کان یعظمه فی عینی صغر الدنیا فی عینه و کان خارجا من سلطان بطنه فلا یشتهی ما لا یجد و لا یکثر اذا وجد و کان اکثر دهره صامتا فان قال بذ القائلین و نقع غلیل السائلین و کان ضعیفا مستضعفا فان جاء الجد فهو لیث غاب و صل واد لا یدلی بحجه حتی یاتی‌ قاضیا و کان لا یلوم احدا علی ما یجد العذر فی مثله حتی یسمع اعتذاره و کان لا یشکو وجعا الا عند برئه و کان یقول ما یفعل و لا یقول ما لا یفعل و کان اذا غلب علی الکلام لم یغلب علی السکوت و کان علی ما یسمع احرص منه علی ان یتکلم و کان اذا بدهه امران ینظر ایهما اقرب الی الهوی فیخالفه فعلیکم بهذه الخلائق فالزموها و تنافسوا فیها فان لم تستطیعوها فاعلموا ان اخذ القلیل خیر من ترک الکثیر</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>171</th>\n",
              "      <td>الحمد لله الذی لا تواری عنه سماء سماء و لا ارض ارضا منها و قد قال قائل انک علی هذا الامر یا ابن ابی طالب لحریص فقلت بل انتم و الله لاحرص و ابعد و انا اخص و اقرب و انما طلبت حقا لی و انتم تحولون بینی و بینه و تضربون وجهی دونه فلما قرعته بالحجه فی الملا الحاضرین هب کانه بهت لا یدری ما یجیبنی به اللهم انی استعدیک علی قریش و من اعانهم فانهم قطعوا رحمی و صغروا عظیم منزلتی‌ و اجمعوا علی منازعتی امرا هو لی ثم قالوا الا ان فی الحق ان تاخذه و فی الحق ان تترکه فخرجوا یجرون حرمه رسول الله\u001eص کما تجر الامه عند شرائها متوجهین بها الی البصره فحبسا نساءهما فی بیوتهما و ابرزا حبیس رسول الله\u001eص لهما و لغیرهما فی جیش ما منهم رجل الا و قد اعطانی الطاعه و سمح لی بالبیعه طائعا غیر مکره فقدموا علی عاملی بها و خزان بیت مال المسلمین و غیرهم من اهلها فقتلوا طائفه صبرا و طائفه غدرا فوالله لو لم یصیبوا من المسلمین الا رجلا واحدا معتمدین لقتله بلا جرم جره لحل لی قتل ذلک الجیش کله اذ حضروه فلم ینکروا و لم یدفعوا عنه بلسان و لا بید دع ما انهم قد قتلوا من المسلمین مثل العده التی دخلوا بها علیهم</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>285</th>\n",
              "      <td>اما بعد یا ابن حنیف فقد بلغنی ان رجلا من فتیه اهل البصره دعاک الی مادبه فاسرعت الیها تستطاب لک الالوان و تنقل الیک الجفان و ما ظننت انک تجیب الی طعام قوم عائلهم مجفو و غنیهم مدعو فانظر الی ما تقضمه من هذا المقضم فما اشتبه علیک علمه فالفظه و ما ایقنت بطیب وجوهه فنل منه الا و ان لکل ماموم اماما یقتدی به و یستضی‌ء بنور علمه الا و ان امامکم قد اکتفی من دنیاه بطمریه و من طعمه بقرصیه الا و انکم لا تقدرون علی ذلک و لکن اعینونی بورع و اجتهاد و عفه و سداد فوالله ما کنزت من دنیاکم تبرا و لا ادخرت من غنائمها وفرا و لا اعددت لبالی ثوبی طمرا و لا حزت من ارضها شبرا و لا اخذت منه الا کقوت اتان دبره و لهی‌ فی عینی اوهی و اوهن من عفصه مقره بلی کانت فی ایدینا فدک من کل ما اظلته السماء فشحت علیها نفوس قوم و سخت عنها نفوس قوم اخرین و نعم الحکم الله و ما اصنع بفدک و غیر فدک و النفس مظانها فی غد جدث تنقطع فی ظلمته اثارها و تغیب اخبارها و حفره لو زید فی فسحتها و اوسعت یدا حافرها لاضغطها الحجر و المدر و سد فرجها التراب المتراکم و انما هی‌ نفسی اروضها بالتقوی لتاتی‌ امنه یوم الخوف الاکبر و تثبت علی جوانب المزلق و لو شئت لاهتدیت الطریق الی مصفی هذا العسل و لباب هذا القمح و نسائج هذا القز و لکن هیهات ان یغلبنی هوای‌ و یقودنی جشعی الی تخیر الاطعمه و لعل بالحجاز او الیمامه من لا طمع له فی القرص و لا عهد له بالشبع او ابیت مبطانا و حولی بطون غرثی و اکباد حری او اکون کما قال القائل و حسبک داء ان تبیت ببطنه || و حولک اکباد تحن الی القد ا اقنع من نفسی بان یقال هذا امیر المؤمنین و لا اشارکهم فی مکاره الدهر او اکون اسوه لهم فی جشوبه العیش فما خلقت لیشغلنی اکل الطیبات کالبهیمه المربوطه همها علفها او المرسله شغلها تقممها تکترش من اعلافها و تلهو عما یراد بها او اترک سدی او اهمل عابثا او اجر حبل الضلاله او اعتسف طریق المتاهه و کانی بقائلکم یقول اذا کان هذا قوت ابن ابی طالب فقد قعد به الضعف عن قتال الاقران و منازله الشجعان الا و ان الشجره البریه اصلب عودا و الرواتع الخضره ارق جلودا و النابتات العذیه اقوی وقودا و ابطا خمودا. و انا من رسول الله کالضوء من الضوء و الذراع من العضد و الله لو تظاهرت العرب علی قتالی لما ولیت عنها و لو امکنت الفرص من رقابها لسارعت الیها و ساجهد فی ان اطهر الارض من هذا الشخص المعکوس و الجسم المرکوس حتی تخرج المدره من بین حب الحصید و من هذا الکتاب و هو اخره الیک عنی یا دنیا فحبلک علی غاربک قد انسللت من مخالبک و افلت من حبائلک و اجتنبت الذهاب فی مداحضک این القرون الذین غررتهم بمداعبک این الامم الذین فتنتهم بزخارفک فها هم رهائن القبور و مضامین اللحود و الله لو کنت شخصا مرئیا و قالبا حسیا لاقمت علیک حدود الله فی عباد غررتهم بالامانی‌ و امم القیتهم فی المهاوی و ملوک اسلمتهم الی التلف و اوردتهم موارد البلاء اذ لا ورد و لا صدر هیهات من وطئ دحضک زلق و من رکب لججک غرق و من ازور عن حبائلک وفق و السالم منک لا یبالی ان ضاق به مناخه و الدنیا عنده کیوم حان انسلاخه اعزبی عنی فوالله لا اذل لک فتستذلینی و لا اسلس لک فتقودینی و ایم الله یمینا استثنی فیها بمشیئه الله لاروضن نفسی ریاضه تهش معها الی القرص اذا قدرت علیه مطعوما و تقنع بالملح مادوما و لادعن مقلتی کعین ماء نضب معینها مستفرغه دموعها ا تمتلئ السائمه من رعیها فتبرک و تشبع الربیضه من عشبها فتربض و یاکل علی من زاده فیهجع قرت اذا عینه اذا اقتدی بعد السنین المتطاوله بالبهیمه الهامله و السائمه المرعیه طوبی لنفس ادت الی ربها فرضها و عرکت بجنبها بؤسها و هجرت فی اللیل غمضها حتی اذا غلب الکری علیها افترشت ارضها و توسدت کفها فی معشر اسهر عیونهم خوف معادهم و تجافت عن مضاجعهم جنوبهم و همهمت بذکر ربهم شفاههم و تقشعت بطول استغفارهم ذنوبهماولئک حزب الله الا ان حزب الله هم المفلحونفاتق الله یا ابن حنیف و لتکفف اقراصک لیکون من النار خلاصک</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>اما و الله لقد تقمصها فلان و انه لیعلم ان محلی منها محل القطب من الرحی ینحدر عنی السیل و لا یرقی الی‌ الطیر فسدلت دونها ثوبا و طویت عنها کشحا و طفقت ارتئی بین ان اصول بید جذاء او اصبر علی طخیه عمیاء یهرم فیها الکبیر و یشیب فیها الصغیر و یکدح فیها مؤمن حتی یلقی ربه فرایت ان الصبر علی هاتا احجی فصبرت و فی العین قذی و فی الحلق شجا اری تراثی نهبا حتی مضی الاول لسبیله فادلی بها الی فلان بعده ثم تمثل بقول الاعشی شتان ما یومی علی کورها || و یوم حیان اخی جابر فیا عجبا بینا هو یستقیلها فی حیاته اذ عقدها لاخر بعد وفاته لشد ما تشطرا ضرعیها فصیرها فی حوزه خشناء یغلظ کلمها و یخشن مسها و یکثر العثار فیها و الاعتذار منها فصاحبها کراکب الصعبه ان اشنق لها خرم و ان اسلس لها تقحم فمنی‌ الناس لعمر الله بخبط و شماس و تلون و اعتراض فصبرت علی طول المده و شده المحنه حتی اذا مضی لسبیله جعلها فی جماعه زعم انی احدهم فیا لله و للشوری متی اعترض الریب فی مع الاول منهم حتی صرت اقرن الی هذه النظائر لکنی اسففت اذ اسفوا و طرت اذ طاروا فصغا رجل منهم لضغنه و مال الاخر لصهره مع هن و هن الی ان قام ثالث القوم نافجا حضنیه بین نثیله و معتلفه و قام معه بنو ابیه یخضمون مال الله خضمه الابل نبته الربیع الی ان انتکث علیه فتله و اجهز علیه عمله و کبت به بطنته فما راعنی الا و الناس کعرف الضبع الی‌ ینثالون علی من کل جانب حتی لقد وطئ الحسنان و شق عطفای‌ مجتمعین حولی کربیضه الغنم فلما نهضت بالامر نکثت طائفه و مرقت اخری و قسط اخرون کانهم لم یسمعوا الله سبحانه یقولتلک الدار الاخره نجعلها للذین لا یریدون علوا فی الارض و لا فسادا و العاقبه للمتقینبلی و الله لقد سمعوها و وعوها و لکنهم حلیت الدنیا فی اعینهم و راقهم زبرجها اما و الذی فلق الحبه و برا النسمه لو لا حضور الحاضر و قیام الحجه بوجود الناصر و ما اخذ الله علی العلماء الا یقاروا علی کظه ظالم و لا سغب مظلوم لالقیت حبلها علی غاربها و لسقیت اخرها بکاس اولها و لالفیتم دنیاکم هذه ازهد عندی من عفطه عنز قالوا و قام الیه رجل من اهل السواد عند بلوغه الی هذا الموضع من خطبته فناوله کتابا قیل ان فیه مسائل کان یرید الاجابه عنها فاقبل ینظر فیه فلما فرغ من قراءته قال له ابن عباس یا امیر المؤمنین لو اطردت خطبتک من حیث افضیت فقال هیهات یا ابن عباس تلک شقشقه هدرت ثم قرت قال ابن عباس فوالله ما اسفت علی کلام قط کاسفی علی هذا الکلام الا یکون امیر المؤمنین ع بلغ منه حیث اراد</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>\n",
              "      <button class=\"colab-df-convert\" onclick=\"convertToInteractive('df-28697c09-a3f4-4378-8c0a-cd6da1c3e307')\"\n",
              "              title=\"Convert this dataframe to an interactive table.\"\n",
              "              style=\"display:none;\">\n",
              "        \n",
              "  <svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\"viewBox=\"0 0 24 24\"\n",
              "       width=\"24px\">\n",
              "    <path d=\"M0 0h24v24H0V0z\" fill=\"none\"/>\n",
              "    <path d=\"M18.56 5.44l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94zm-11 1L8.5 8.5l.94-2.06 2.06-.94-2.06-.94L8.5 2.5l-.94 2.06-2.06.94zm10 10l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94z\"/><path d=\"M17.41 7.96l-1.37-1.37c-.4-.4-.92-.59-1.43-.59-.52 0-1.04.2-1.43.59L10.3 9.45l-7.72 7.72c-.78.78-.78 2.05 0 2.83L4 21.41c.39.39.9.59 1.41.59.51 0 1.02-.2 1.41-.59l7.78-7.78 2.81-2.81c.8-.78.8-2.07 0-2.86zM5.41 20L4 18.59l7.72-7.72 1.47 1.35L5.41 20z\"/>\n",
              "  </svg>\n",
              "      </button>\n",
              "      \n",
              "  <style>\n",
              "    .colab-df-container {\n",
              "      display:flex;\n",
              "      flex-wrap:wrap;\n",
              "      gap: 12px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert {\n",
              "      background-color: #E8F0FE;\n",
              "      border: none;\n",
              "      border-radius: 50%;\n",
              "      cursor: pointer;\n",
              "      display: none;\n",
              "      fill: #1967D2;\n",
              "      height: 32px;\n",
              "      padding: 0 0 0 0;\n",
              "      width: 32px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert:hover {\n",
              "      background-color: #E2EBFA;\n",
              "      box-shadow: 0px 1px 2px rgba(60, 64, 67, 0.3), 0px 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "      fill: #174EA6;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert {\n",
              "      background-color: #3B4455;\n",
              "      fill: #D2E3FC;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert:hover {\n",
              "      background-color: #434B5C;\n",
              "      box-shadow: 0px 1px 3px 1px rgba(0, 0, 0, 0.15);\n",
              "      filter: drop-shadow(0px 1px 2px rgba(0, 0, 0, 0.3));\n",
              "      fill: #FFFFFF;\n",
              "    }\n",
              "  </style>\n",
              "\n",
              "      <script>\n",
              "        const buttonEl =\n",
              "          document.querySelector('#df-28697c09-a3f4-4378-8c0a-cd6da1c3e307 button.colab-df-convert');\n",
              "        buttonEl.style.display =\n",
              "          google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "\n",
              "        async function convertToInteractive(key) {\n",
              "          const element = document.querySelector('#df-28697c09-a3f4-4378-8c0a-cd6da1c3e307');\n",
              "          const dataTable =\n",
              "            await google.colab.kernel.invokeFunction('convertToInteractive',\n",
              "                                                     [key], {});\n",
              "          if (!dataTable) return;\n",
              "\n",
              "          const docLinkHtml = 'Like what you see? Visit the ' +\n",
              "            '<a target=\"_blank\" href=https://colab.research.google.com/notebooks/data_table.ipynb>data table notebook</a>'\n",
              "            + ' to learn more about interactive tables.';\n",
              "          element.innerHTML = '';\n",
              "          dataTable['output_type'] = 'display_data';\n",
              "          await google.colab.output.renderOutput(dataTable, element);\n",
              "          const docLink = document.createElement('div');\n",
              "          docLink.innerHTML = docLinkHtml;\n",
              "          element.appendChild(docLink);\n",
              "        }\n",
              "      </script>\n",
              "    </div>\n",
              "  </div>\n",
              "  "
            ]
          },
          "metadata": {},
          "execution_count": 28
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "mean_embedding = get_mean_embedding(model,list(sahife_complete_dict_nrmlz))\n",
        "compare_to = 30\n",
        "\n",
        "most_similar=get_most_similar(mean_embedding, compare_to)\n",
        "\n",
        "verse_complete=pd.DataFrame(sahife_complete_dict_nrmlz)\n",
        "print(verse_complete.iloc[compare_to].values)\n",
        "\n",
        "verse_complete.iloc[most_similar]"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 477
        },
        "id": "seciFzvT3LaT",
        "outputId": "438787af-f40c-4d4c-9c7b-e608c239bf1e"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "[' فختم بنا علی جمیع من ذرا، و جعلنا شهداء علی من جحد، و کثرنا بمنه\\u200c علی من قل.  ']\n"
          ]
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "                                                                                                                                                                                                                                                                                                                                                                                                          0\n",
              "30                                                                                                                                                                                                                                                                                                                           فختم بنا علی جمیع من ذرا، و جعلنا شهداء علی من جحد، و کثرنا بمنه‌ علی من قل.  \n",
              "664                                                                                                                                                                                                                       اللهم صل علی محمد و اله‌، و اجبر مصیبتنا بشهرنا، و بارک لنا في یوم عیدنا و فطرنا، و اجعله‌ من خیر یوم مر علینا اجلبه‌ لعفو، و امحاه‌ لذنب، و اغفر لنا ما خفي من ذنوبنا و ما علن. \n",
              "663   اللهم و ما الممنا به‌ في شهرنا هذا من لمم او اثم، او واقعنا فیه‌ من ذنب، و اکتسبنا فیه‌ من خطیئه علی تعمد منا، او علی نسیان ظلمنا فیه‌ انفسنا، او انتهکنا به‌ حرمه من غیرنا، فصل علی محمد و اله‌، و استرنا بسترک، و اعف عنا بعفوک، و لا تنصبنا فیه‌ لاعین الشامتین، و لا تبسط علینا فیه‌ السن الطاعنین، و استعملنا بما یکون حطه و کفاره لما انکرت منا فیه‌ برافتک التي لا تنفد، و فضلک الذي لا ینقص. \n",
              "505                                                                                                                                                                                                                                                                     و الهمنا معرفه الاختیار، و اجعل ذلک ذریعه الی الرضا بما قضیت لنا و التسلیم لما حکمت فازح عنا ریب الارتیاب، و ایدنا بیقین المخلصین. \n",
              "369                                                                                                                                                                                                                                                                                                    اللهم صل علی محمد و اله‌ کما شرفتنا به‌، و صل علی محمد و اله‌، کما اوجبت لنا الحق علی الخلق بسببه‌. \n",
              "873                                                                                                                                                                                                                                                                                                                           هذا مقام من اعترف بسبوغ النعم، و قابلها بالتقصیر، و شهد علی نفسه‌ بالتضییع.  \n",
              "22                                                                                                                                                                                                                                              فما هکذا کانت سنته‌ في التوبه لمن کان قبلنا، لقد وضع عنا ما لا طاقه لنا به‌، و لم یکلفنا الا وسعا، و لم یجشمنا الا یسرا، و لم یدع لاحد منا حجه و لا عذرا.  \n",
              "574                                                                                                                                                                                     اللهم فکما جعلت قلوبنا له‌ حمله، و عرفتنا برحمتک شرفه‌ و فضله‌، فصل علی محمد الخطیب به‌، و علی اله‌ الخزان له‌، و اجعلنا ممن یعترف بانه‌ من عندک حتی لا یعارضنا الشک في تصدیقه‌، و لا یختلجنا الزیغ عن قصد طریقه‌. \n",
              "671                                                                                                                                                                                                                                                                                                               اللهم تجاوز عن ابائنا و امهاتنا و اهل دیننا جمیعا من سلف منهم و من غبر الی یوم القیامه.  \n",
              "661                                                                                                                                                                           اللهم فلک الحمد اقرارا بالاساءه، و اعترافا بالاضاعه، و لک من قلوبنا عقد الندم، و من السنتنا صدق الاعتذار، فاجرنا علی ما اصابنا فیه‌ من التفریط اجرا نستدرک به‌ الفضل المرغوب فیه‌، و نعتاض به‌ من انواع الذخر المحروص علیه‌. "
            ],
            "text/html": [
              "\n",
              "  <div id=\"df-27fd380e-97ac-4642-a2c3-22632b6f8584\">\n",
              "    <div class=\"colab-df-container\">\n",
              "      <div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>0</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>30</th>\n",
              "      <td>فختم بنا علی جمیع من ذرا، و جعلنا شهداء علی من جحد، و کثرنا بمنه‌ علی من قل.</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>664</th>\n",
              "      <td>اللهم صل علی محمد و اله‌، و اجبر مصیبتنا بشهرنا، و بارک لنا في یوم عیدنا و فطرنا، و اجعله‌ من خیر یوم مر علینا اجلبه‌ لعفو، و امحاه‌ لذنب، و اغفر لنا ما خفي من ذنوبنا و ما علن.</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>663</th>\n",
              "      <td>اللهم و ما الممنا به‌ في شهرنا هذا من لمم او اثم، او واقعنا فیه‌ من ذنب، و اکتسبنا فیه‌ من خطیئه علی تعمد منا، او علی نسیان ظلمنا فیه‌ انفسنا، او انتهکنا به‌ حرمه من غیرنا، فصل علی محمد و اله‌، و استرنا بسترک، و اعف عنا بعفوک، و لا تنصبنا فیه‌ لاعین الشامتین، و لا تبسط علینا فیه‌ السن الطاعنین، و استعملنا بما یکون حطه و کفاره لما انکرت منا فیه‌ برافتک التي لا تنفد، و فضلک الذي لا ینقص.</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>505</th>\n",
              "      <td>و الهمنا معرفه الاختیار، و اجعل ذلک ذریعه الی الرضا بما قضیت لنا و التسلیم لما حکمت فازح عنا ریب الارتیاب، و ایدنا بیقین المخلصین.</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>369</th>\n",
              "      <td>اللهم صل علی محمد و اله‌ کما شرفتنا به‌، و صل علی محمد و اله‌، کما اوجبت لنا الحق علی الخلق بسببه‌.</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>873</th>\n",
              "      <td>هذا مقام من اعترف بسبوغ النعم، و قابلها بالتقصیر، و شهد علی نفسه‌ بالتضییع.</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>22</th>\n",
              "      <td>فما هکذا کانت سنته‌ في التوبه لمن کان قبلنا، لقد وضع عنا ما لا طاقه لنا به‌، و لم یکلفنا الا وسعا، و لم یجشمنا الا یسرا، و لم یدع لاحد منا حجه و لا عذرا.</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>574</th>\n",
              "      <td>اللهم فکما جعلت قلوبنا له‌ حمله، و عرفتنا برحمتک شرفه‌ و فضله‌، فصل علی محمد الخطیب به‌، و علی اله‌ الخزان له‌، و اجعلنا ممن یعترف بانه‌ من عندک حتی لا یعارضنا الشک في تصدیقه‌، و لا یختلجنا الزیغ عن قصد طریقه‌.</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>671</th>\n",
              "      <td>اللهم تجاوز عن ابائنا و امهاتنا و اهل دیننا جمیعا من سلف منهم و من غبر الی یوم القیامه.</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>661</th>\n",
              "      <td>اللهم فلک الحمد اقرارا بالاساءه، و اعترافا بالاضاعه، و لک من قلوبنا عقد الندم، و من السنتنا صدق الاعتذار، فاجرنا علی ما اصابنا فیه‌ من التفریط اجرا نستدرک به‌ الفضل المرغوب فیه‌، و نعتاض به‌ من انواع الذخر المحروص علیه‌.</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>\n",
              "      <button class=\"colab-df-convert\" onclick=\"convertToInteractive('df-27fd380e-97ac-4642-a2c3-22632b6f8584')\"\n",
              "              title=\"Convert this dataframe to an interactive table.\"\n",
              "              style=\"display:none;\">\n",
              "        \n",
              "  <svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\"viewBox=\"0 0 24 24\"\n",
              "       width=\"24px\">\n",
              "    <path d=\"M0 0h24v24H0V0z\" fill=\"none\"/>\n",
              "    <path d=\"M18.56 5.44l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94zm-11 1L8.5 8.5l.94-2.06 2.06-.94-2.06-.94L8.5 2.5l-.94 2.06-2.06.94zm10 10l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94z\"/><path d=\"M17.41 7.96l-1.37-1.37c-.4-.4-.92-.59-1.43-.59-.52 0-1.04.2-1.43.59L10.3 9.45l-7.72 7.72c-.78.78-.78 2.05 0 2.83L4 21.41c.39.39.9.59 1.41.59.51 0 1.02-.2 1.41-.59l7.78-7.78 2.81-2.81c.8-.78.8-2.07 0-2.86zM5.41 20L4 18.59l7.72-7.72 1.47 1.35L5.41 20z\"/>\n",
              "  </svg>\n",
              "      </button>\n",
              "      \n",
              "  <style>\n",
              "    .colab-df-container {\n",
              "      display:flex;\n",
              "      flex-wrap:wrap;\n",
              "      gap: 12px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert {\n",
              "      background-color: #E8F0FE;\n",
              "      border: none;\n",
              "      border-radius: 50%;\n",
              "      cursor: pointer;\n",
              "      display: none;\n",
              "      fill: #1967D2;\n",
              "      height: 32px;\n",
              "      padding: 0 0 0 0;\n",
              "      width: 32px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert:hover {\n",
              "      background-color: #E2EBFA;\n",
              "      box-shadow: 0px 1px 2px rgba(60, 64, 67, 0.3), 0px 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "      fill: #174EA6;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert {\n",
              "      background-color: #3B4455;\n",
              "      fill: #D2E3FC;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert:hover {\n",
              "      background-color: #434B5C;\n",
              "      box-shadow: 0px 1px 3px 1px rgba(0, 0, 0, 0.15);\n",
              "      filter: drop-shadow(0px 1px 2px rgba(0, 0, 0, 0.3));\n",
              "      fill: #FFFFFF;\n",
              "    }\n",
              "  </style>\n",
              "\n",
              "      <script>\n",
              "        const buttonEl =\n",
              "          document.querySelector('#df-27fd380e-97ac-4642-a2c3-22632b6f8584 button.colab-df-convert');\n",
              "        buttonEl.style.display =\n",
              "          google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "\n",
              "        async function convertToInteractive(key) {\n",
              "          const element = document.querySelector('#df-27fd380e-97ac-4642-a2c3-22632b6f8584');\n",
              "          const dataTable =\n",
              "            await google.colab.kernel.invokeFunction('convertToInteractive',\n",
              "                                                     [key], {});\n",
              "          if (!dataTable) return;\n",
              "\n",
              "          const docLinkHtml = 'Like what you see? Visit the ' +\n",
              "            '<a target=\"_blank\" href=https://colab.research.google.com/notebooks/data_table.ipynb>data table notebook</a>'\n",
              "            + ' to learn more about interactive tables.';\n",
              "          element.innerHTML = '';\n",
              "          dataTable['output_type'] = 'display_data';\n",
              "          await google.colab.output.renderOutput(dataTable, element);\n",
              "          const docLink = document.createElement('div');\n",
              "          docLink.innerHTML = docLinkHtml;\n",
              "          element.appendChild(docLink);\n",
              "        }\n",
              "      </script>\n",
              "    </div>\n",
              "  </div>\n",
              "  "
            ]
          },
          "metadata": {},
          "execution_count": 29
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# Finetune- A lot! "
      ],
      "metadata": {
        "id": "tSlJqpUoJr1n"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "from transformers import BertTokenizer, BertForMaskedLM\n",
        "from torch.utils.data import TensorDataset, DataLoader\n",
        "from tqdm import tqdm  # for our progress bar\n",
        "import torch\n",
        "from transformers import AdamW\n",
        "device = 'cuda' if torch.cuda.is_available() else 'cpu'\n",
        "\n",
        "# Mini:   asafaya/bert-mini-arabic\n",
        "# Medium: asafaya/bert-medium-arabic\n",
        "# Base:   asafaya/bert-base-arabic\n",
        "# Large:  asafaya/bert-large-arabic\n",
        "\n",
        "tokenizer = BertTokenizer.from_pretrained(\"asafaya/bert-base-arabic\")\n",
        "model = BertForMaskedLM.from_pretrained(\"asafaya/bert-base-arabic\")\n",
        "\n",
        "model=model.to(device)\n",
        "model.train()\n",
        "\n",
        "optim = AdamW(model.parameters(), lr=5e-5)\n",
        "\n",
        "raw_data = list(verse_complete_dict_nrmlz.values())\n",
        "raw_data= raw_data+list(nahj_complete_dict_nrmlz.values())\n",
        "raw_data= raw_data +list(sahife_complete_dict_nrmlz)\n",
        "\n",
        "def mask_text(raw_data):\n",
        "    inputs=tokenize(raw_data)\n",
        "    inputs['labels'] = inputs.input_ids.detach().clone()\n",
        "    \n",
        "    rand = torch.rand(inputs.input_ids.shape)\n",
        "    mask_arr = (rand < 0.15) * (inputs.input_ids != 101) * \\\n",
        "            (inputs.input_ids != 102) * (inputs.input_ids != 0)\n",
        "            \n",
        "    selection = []\n",
        "    for i in range(inputs.input_ids.shape[0]):\n",
        "        selection.append(\n",
        "            torch.flatten(mask_arr[i].nonzero()).tolist()\n",
        "        )\n",
        "    \n",
        "    for i in range(inputs.input_ids.shape[0]):\n",
        "        inputs.input_ids[i, selection[i]] = 103 #masked_tokens\n",
        "\n",
        "    BATCH_SIZE = 64\n",
        "    dataset=TensorDataset(inputs.input_ids, inputs.attention_mask,inputs.labels)\n",
        "    dataloader = DataLoader(dataset,batch_size=BATCH_SIZE,drop_last=False,shuffle=True)\n",
        "    return dataloader    \n",
        "\n",
        "\n",
        "epochs = 30 \n",
        "\n",
        "def train(model,dataloader,optim,epochs):\n",
        "    for epoch in range(epochs):\n",
        "        \n",
        "        if (epoch+1) % 5 == 0:\n",
        "            dataloader = mask_text(raw_data)\n",
        "\n",
        "        loop = tqdm(dataloader, leave=True)\n",
        "        for batch in loop:\n",
        "            optim.zero_grad()\n",
        "\n",
        "            input_ids, attention_mask,labels = batch\n",
        "            outputs = model(input_ids.to(device), attention_mask=attention_mask.to(device),\n",
        "                            labels=labels.to(device))\n",
        "            loss = outputs.loss\n",
        "            loss.backward()\n",
        "            optim.step()\n",
        "            loop.set_description(f'Epoch {epoch}')\n",
        "            loop.set_postfix(loss=loss.item())\n",
        "\n",
        "train(model,mask_text(raw_data),optim,epochs)\n",
        "model.save_pretrained(\"model-trained-on-arabic\")"
      ],
      "metadata": {
        "id": "Ircca70tEylG",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "45d7cfab-ae96-464a-bbce-3ab4f6241bce"
      },
      "execution_count": 18,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.7/dist-packages/transformers/optimization.py:309: FutureWarning: This implementation of AdamW is deprecated and will be removed in a future version. Use the PyTorch implementation torch.optim.AdamW instead, or set `no_deprecation_warning=True` to disable this warning\n",
            "  FutureWarning,\n",
            "Epoch 0: 100%|██████████| 125/125 [03:23<00:00,  1.63s/it, loss=0.181]\n",
            "Epoch 1: 100%|██████████| 125/125 [03:23<00:00,  1.63s/it, loss=0.125]\n",
            "Epoch 2: 100%|██████████| 125/125 [03:23<00:00,  1.63s/it, loss=0.0924]\n",
            "Epoch 3: 100%|██████████| 125/125 [03:23<00:00,  1.63s/it, loss=0.0752]\n",
            "Epoch 4: 100%|██████████| 125/125 [03:24<00:00,  1.63s/it, loss=0.0842]\n",
            "Epoch 5: 100%|██████████| 125/125 [03:23<00:00,  1.63s/it, loss=0.102]\n",
            "Epoch 6: 100%|██████████| 125/125 [03:23<00:00,  1.63s/it, loss=0.0759]\n",
            "Epoch 7: 100%|██████████| 125/125 [03:23<00:00,  1.63s/it, loss=0.0903]\n",
            "Epoch 8: 100%|██████████| 125/125 [03:23<00:00,  1.63s/it, loss=0.0487]\n",
            "Epoch 9: 100%|██████████| 125/125 [03:24<00:00,  1.64s/it, loss=0.104]\n",
            "Epoch 10: 100%|██████████| 125/125 [03:23<00:00,  1.63s/it, loss=0.124]\n",
            "Epoch 11: 100%|██████████| 125/125 [03:23<00:00,  1.63s/it, loss=0.0427]\n",
            "Epoch 12: 100%|██████████| 125/125 [03:23<00:00,  1.63s/it, loss=0.108]\n",
            "Epoch 13: 100%|██████████| 125/125 [03:23<00:00,  1.63s/it, loss=0.024]\n",
            "Epoch 14: 100%|██████████| 125/125 [03:24<00:00,  1.63s/it, loss=0.07]\n",
            "Epoch 15: 100%|██████████| 125/125 [03:23<00:00,  1.63s/it, loss=0.0752]\n",
            "Epoch 16: 100%|██████████| 125/125 [03:23<00:00,  1.63s/it, loss=0.0425]\n",
            "Epoch 17: 100%|██████████| 125/125 [03:23<00:00,  1.63s/it, loss=0.0322]\n",
            "Epoch 18: 100%|██████████| 125/125 [03:23<00:00,  1.63s/it, loss=0.0178]\n",
            "Epoch 19: 100%|██████████| 125/125 [03:23<00:00,  1.63s/it, loss=0.0929]\n",
            "Epoch 20: 100%|██████████| 125/125 [03:23<00:00,  1.63s/it, loss=0.0688]\n",
            "Epoch 21: 100%|██████████| 125/125 [03:23<00:00,  1.63s/it, loss=0.0265]\n",
            "Epoch 22: 100%|██████████| 125/125 [03:23<00:00,  1.63s/it, loss=0.0546]\n",
            "Epoch 23: 100%|██████████| 125/125 [03:23<00:00,  1.63s/it, loss=0.0409]\n",
            "Epoch 24: 100%|██████████| 125/125 [03:24<00:00,  1.63s/it, loss=0.0339]\n",
            "Epoch 25: 100%|██████████| 125/125 [03:23<00:00,  1.63s/it, loss=0.0615]\n",
            "Epoch 26: 100%|██████████| 125/125 [03:23<00:00,  1.63s/it, loss=0.0381]\n",
            "Epoch 27: 100%|██████████| 125/125 [03:23<00:00,  1.63s/it, loss=0.0118]\n",
            "Epoch 28: 100%|██████████| 125/125 [03:23<00:00,  1.63s/it, loss=0.01]\n",
            "Epoch 29: 100%|██████████| 125/125 [03:24<00:00,  1.63s/it, loss=0.105]\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "!pip install huggingface_hub\n",
        "from huggingface_hub import notebook_login\n",
        "notebook_login()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 706,
          "referenced_widgets": [
            "305bcaaad7f944efbbcc49ae561228c5",
            "80759ab096f5415b86a1aa656d57d512",
            "b2b3363657884ba5ae387bcd809a6b3b",
            "7320aa4a4727438fa53204b3b514cf7d",
            "30b3be2c2d9a445a9d2ba3bb6347ad3d",
            "11a55cdc92dc4478b4ae91b2b3653e4d",
            "13f55ae20d02428a9666457cf22d6127",
            "d5656838424946d1be01b4d03d7efb63",
            "82dff0f0ac9840549b1dddff94d6c729",
            "133d8857c7de4c1d997cce43038e14fc",
            "24a266875029425db8ee762ac23e813b",
            "5f34b20c3a6e4fbbb3cbe6c54ce0daa6",
            "1e81d2d4d0a84d12a8d0aa3abd8143f7",
            "6f6fad7eb7ba41f7b1db21a90574ed14",
            "8fc174922b254977b334ede206857afc",
            "e17a1b6aab5e45c78abacb44e8968204",
            "9543af95da964c1cb82082da6e91b522"
          ]
        },
        "id": "RptOosH9sktq",
        "outputId": "020e67a7-2d88-4d40-c6e7-80af111d19f6"
      },
      "execution_count": 20,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Login successful\n",
            "Your token has been saved to /root/.huggingface/token\n",
            "\u001b[1m\u001b[31mAuthenticated through git-credential store but this isn't the helper defined on your machine.\n",
            "You might have to re-authenticate when pushing to the Hugging Face Hub. Run the following command in your terminal in case you want to set this credential helper as the default\n",
            "\n",
            "git config --global credential.helper store\u001b[0m\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "tokenizer.save_pretrained('arabic-quran-nahj-sahife/')\n",
        "model.push_to_hub('arabic-quran-nahj-sahife')"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 126
        },
        "id": "dxAeUvXCyY74",
        "outputId": "50fbd788-9113-42ba-89db-5987d867be16"
      },
      "execution_count": 24,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "remote: Enforcing permissions...        \n",
            "remote: Allowed refs: all        \n",
            "To https://huggingface.co/pourmand1376/arabic-quran-nahj-sahife\n",
            "   03d579f..39bbd8f  main -> main\n",
            "\n"
          ]
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "'https://huggingface.co/pourmand1376/arabic-quran-nahj-sahife/commit/39bbd8f5c9168e2df6411ff3ad2d3978bd623df2'"
            ],
            "application/vnd.google.colaboratory.intrinsic+json": {
              "type": "string"
            }
          },
          "metadata": {},
          "execution_count": 24
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "from transformers import AutoTokenizer, AutoModel\n",
        "import torch\n",
        "device = 'cuda' if torch.cuda.is_available() else 'cpu'\n",
        "\n",
        "tokenizer = AutoTokenizer.from_pretrained(\"asafaya/bert-base-arabic\")\n",
        "model = AutoModel.from_pretrained(\"model-trained-on-arabic\")\n",
        "model=model.to(device)\n",
        "model.eval()\n",
        "device"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 146
        },
        "id": "0JHEy1xHJ5yF",
        "outputId": "f3344246-807b-485b-e3eb-83bdaf77b225"
      },
      "execution_count": 25,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "Some weights of the model checkpoint at model-trained-on-arabic were not used when initializing BertModel: ['cls.predictions.decoder.weight', 'cls.predictions.transform.dense.bias', 'cls.predictions.transform.LayerNorm.weight', 'cls.predictions.transform.LayerNorm.bias', 'cls.predictions.transform.dense.weight', 'cls.predictions.bias', 'cls.predictions.decoder.bias']\n",
            "- This IS expected if you are initializing BertModel from the checkpoint of a model trained on another task or with another architecture (e.g. initializing a BertForSequenceClassification model from a BertForPreTraining model).\n",
            "- This IS NOT expected if you are initializing BertModel from the checkpoint of a model that you expect to be exactly identical (initializing a BertForSequenceClassification model from a BertForSequenceClassification model).\n",
            "Some weights of BertModel were not initialized from the model checkpoint at model-trained-on-arabic and are newly initialized: ['bert.pooler.dense.weight', 'bert.pooler.dense.bias']\n",
            "You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.\n"
          ]
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "'cuda'"
            ],
            "application/vnd.google.colaboratory.intrinsic+json": {
              "type": "string"
            }
          },
          "metadata": {},
          "execution_count": 25
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "compare_to = 30\n",
        "mean_embedding = get_mean_embedding(model,list(verse_complete_dict_nrmlz.values()))\n",
        "most_similar=get_most_similar(mean_embedding, compare_to)\n",
        "\n",
        "verse_complete=pd.DataFrame(verse_complete_dict_nrmlz.values())\n",
        "print(verse_complete.iloc[compare_to].values)\n",
        "\n",
        "verse_complete.iloc[most_similar]"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 538
        },
        "id": "ZCBkqmAs9cDO",
        "outputId": "19259983-13d6-48f2-c91c-4595bee0edfd"
      },
      "execution_count": 29,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "['فان لم تفعلوا ولن تفعلوا فاتقوا النار التي وقودها الناس والحجاره ۖ اعدت للكافرين']\n"
          ]
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "                                                                                                                                                   0\n",
              "30                                                                  فان لم تفعلوا ولن تفعلوا فاتقوا النار التي وقودها الناس والحجاره ۖ اعدت للكافرين\n",
              "5234               يا ايها الذين امنوا قوا انفسكم واهليكم نارا وقودها الناس والحجاره عليها ملائكه غلاظ شداد لا يعصون الله ما امرهم ويفعلون ما يؤمرون\n",
              "689                                                             يا قوم ادخلوا الارض المقدسه التي كتب الله لكم ولا ترتدوا علي ادباركم فتنقلبوا خاسرين\n",
              "384                                                                         لن تنالوا البر حتي تنفقوا مما تحبون ۚ وما تنفقوا من شيء فان الله به عليم\n",
              "1194                                                                        وما كان صلاتهم عند البيت الا مكاء وتصديه ۚ فذوقوا العذاب بما كنتم تكفرون\n",
              "5116  ااشفقتم ان تقدموا بين يدي نجواكم صدقات ۚ فاذ لم تفعلوا وتاب الله عليكم فاقيموا الصلاه واتوا الزكاه واطيعوا الله ورسوله ۚ والله خبير بما تعملون\n",
              "1779                                                                              وجعلوا لله اندادا ليضلوا عن سبيله ۗ قل تمتعوا فان مصيركم الي النار\n",
              "3666                                                                    الذين كفروا لهم عذاب شديد ۖ والذين امنوا وعملوا الصالحات لهم مغفره واجر كبير\n",
              "1232                                                                         والذين كفروا بعضهم اولياء بعض ۚ الا تفعلوه تكن فتنه في الارض وفساد كبير\n",
              "1297                                                               الم يعلموا انه من يحادد الله ورسوله فان له نار جهنم خالدا فيها ۚ ذلك الخزي العظيم\n",
              "1783                                                                 واتاكم من كل ما سالتموه ۚ وان تعدوا نعمت الله لا تحصوها ۗ ان الانسان لظلوم كفار\n",
              "3363                                               فما كان جواب قومه الا ان قالوا اقتلوه او حرقوه فانجاه الله من النار ۚ ان في ذلك لايات لقوم يؤمنون\n",
              "423                                                                                                                  واتقوا النار التي اعدت للكافرين\n",
              "304                                                                                            قل للذين كفروا ستغلبون وتحشرون الي جهنم ۚ وبئس المهاد\n",
              "1184                                                                        واتقوا فتنه لا تصيبن الذين ظلموا منكم خاصه ۖ واعلموا ان الله شديد العقاب"
            ],
            "text/html": [
              "\n",
              "  <div id=\"df-a39d6607-07b4-4bbd-a624-53258b95bb61\">\n",
              "    <div class=\"colab-df-container\">\n",
              "      <div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>0</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>30</th>\n",
              "      <td>فان لم تفعلوا ولن تفعلوا فاتقوا النار التي وقودها الناس والحجاره ۖ اعدت للكافرين</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>5234</th>\n",
              "      <td>يا ايها الذين امنوا قوا انفسكم واهليكم نارا وقودها الناس والحجاره عليها ملائكه غلاظ شداد لا يعصون الله ما امرهم ويفعلون ما يؤمرون</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>689</th>\n",
              "      <td>يا قوم ادخلوا الارض المقدسه التي كتب الله لكم ولا ترتدوا علي ادباركم فتنقلبوا خاسرين</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>384</th>\n",
              "      <td>لن تنالوا البر حتي تنفقوا مما تحبون ۚ وما تنفقوا من شيء فان الله به عليم</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1194</th>\n",
              "      <td>وما كان صلاتهم عند البيت الا مكاء وتصديه ۚ فذوقوا العذاب بما كنتم تكفرون</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>5116</th>\n",
              "      <td>ااشفقتم ان تقدموا بين يدي نجواكم صدقات ۚ فاذ لم تفعلوا وتاب الله عليكم فاقيموا الصلاه واتوا الزكاه واطيعوا الله ورسوله ۚ والله خبير بما تعملون</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1779</th>\n",
              "      <td>وجعلوا لله اندادا ليضلوا عن سبيله ۗ قل تمتعوا فان مصيركم الي النار</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3666</th>\n",
              "      <td>الذين كفروا لهم عذاب شديد ۖ والذين امنوا وعملوا الصالحات لهم مغفره واجر كبير</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1232</th>\n",
              "      <td>والذين كفروا بعضهم اولياء بعض ۚ الا تفعلوه تكن فتنه في الارض وفساد كبير</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1297</th>\n",
              "      <td>الم يعلموا انه من يحادد الله ورسوله فان له نار جهنم خالدا فيها ۚ ذلك الخزي العظيم</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1783</th>\n",
              "      <td>واتاكم من كل ما سالتموه ۚ وان تعدوا نعمت الله لا تحصوها ۗ ان الانسان لظلوم كفار</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3363</th>\n",
              "      <td>فما كان جواب قومه الا ان قالوا اقتلوه او حرقوه فانجاه الله من النار ۚ ان في ذلك لايات لقوم يؤمنون</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>423</th>\n",
              "      <td>واتقوا النار التي اعدت للكافرين</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>304</th>\n",
              "      <td>قل للذين كفروا ستغلبون وتحشرون الي جهنم ۚ وبئس المهاد</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1184</th>\n",
              "      <td>واتقوا فتنه لا تصيبن الذين ظلموا منكم خاصه ۖ واعلموا ان الله شديد العقاب</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>\n",
              "      <button class=\"colab-df-convert\" onclick=\"convertToInteractive('df-a39d6607-07b4-4bbd-a624-53258b95bb61')\"\n",
              "              title=\"Convert this dataframe to an interactive table.\"\n",
              "              style=\"display:none;\">\n",
              "        \n",
              "  <svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\"viewBox=\"0 0 24 24\"\n",
              "       width=\"24px\">\n",
              "    <path d=\"M0 0h24v24H0V0z\" fill=\"none\"/>\n",
              "    <path d=\"M18.56 5.44l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94zm-11 1L8.5 8.5l.94-2.06 2.06-.94-2.06-.94L8.5 2.5l-.94 2.06-2.06.94zm10 10l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94z\"/><path d=\"M17.41 7.96l-1.37-1.37c-.4-.4-.92-.59-1.43-.59-.52 0-1.04.2-1.43.59L10.3 9.45l-7.72 7.72c-.78.78-.78 2.05 0 2.83L4 21.41c.39.39.9.59 1.41.59.51 0 1.02-.2 1.41-.59l7.78-7.78 2.81-2.81c.8-.78.8-2.07 0-2.86zM5.41 20L4 18.59l7.72-7.72 1.47 1.35L5.41 20z\"/>\n",
              "  </svg>\n",
              "      </button>\n",
              "      \n",
              "  <style>\n",
              "    .colab-df-container {\n",
              "      display:flex;\n",
              "      flex-wrap:wrap;\n",
              "      gap: 12px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert {\n",
              "      background-color: #E8F0FE;\n",
              "      border: none;\n",
              "      border-radius: 50%;\n",
              "      cursor: pointer;\n",
              "      display: none;\n",
              "      fill: #1967D2;\n",
              "      height: 32px;\n",
              "      padding: 0 0 0 0;\n",
              "      width: 32px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert:hover {\n",
              "      background-color: #E2EBFA;\n",
              "      box-shadow: 0px 1px 2px rgba(60, 64, 67, 0.3), 0px 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "      fill: #174EA6;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert {\n",
              "      background-color: #3B4455;\n",
              "      fill: #D2E3FC;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert:hover {\n",
              "      background-color: #434B5C;\n",
              "      box-shadow: 0px 1px 3px 1px rgba(0, 0, 0, 0.15);\n",
              "      filter: drop-shadow(0px 1px 2px rgba(0, 0, 0, 0.3));\n",
              "      fill: #FFFFFF;\n",
              "    }\n",
              "  </style>\n",
              "\n",
              "      <script>\n",
              "        const buttonEl =\n",
              "          document.querySelector('#df-a39d6607-07b4-4bbd-a624-53258b95bb61 button.colab-df-convert');\n",
              "        buttonEl.style.display =\n",
              "          google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "\n",
              "        async function convertToInteractive(key) {\n",
              "          const element = document.querySelector('#df-a39d6607-07b4-4bbd-a624-53258b95bb61');\n",
              "          const dataTable =\n",
              "            await google.colab.kernel.invokeFunction('convertToInteractive',\n",
              "                                                     [key], {});\n",
              "          if (!dataTable) return;\n",
              "\n",
              "          const docLinkHtml = 'Like what you see? Visit the ' +\n",
              "            '<a target=\"_blank\" href=https://colab.research.google.com/notebooks/data_table.ipynb>data table notebook</a>'\n",
              "            + ' to learn more about interactive tables.';\n",
              "          element.innerHTML = '';\n",
              "          dataTable['output_type'] = 'display_data';\n",
              "          await google.colab.output.renderOutput(dataTable, element);\n",
              "          const docLink = document.createElement('div');\n",
              "          docLink.innerHTML = docLinkHtml;\n",
              "          element.appendChild(docLink);\n",
              "        }\n",
              "      </script>\n",
              "    </div>\n",
              "  </div>\n",
              "  "
            ]
          },
          "metadata": {},
          "execution_count": 29
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "compare_to = 30\n",
        "mean_embedding = get_mean_embedding(model,list(nahj_complete_dict_nrmlz.values()))\n",
        "most_similar=get_most_similar(mean_embedding, compare_to)\n",
        "\n",
        "verse_complete=pd.DataFrame(nahj_complete_dict_nrmlz.values())\n",
        "print(verse_complete.iloc[compare_to].values)\n",
        "\n",
        "verse_complete.iloc[most_similar]"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 1000
        },
        "id": "bR6IT7r09jrb",
        "outputId": "2b2419b3-92c2-427e-e77b-e1f8beba67dd"
      },
      "execution_count": 30,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "['لا تلقین طلحه فانک ان تلقه تجده کالثور عاقصا قرنه یرکب الصعب و یقول هو الذلول و لکن الق الزبیر فانه الین عریکه فقل له یقول لک ابن خالک عرفتنی بالحجاز و انکرتنی بالعراق فما عدا مما بدا']\n"
          ]
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          0\n",
              "30                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  لا تلقین طلحه فانک ان تلقه تجده کالثور عاقصا قرنه یرکب الصعب و یقول هو الذلول و لکن الق الزبیر فانه الین عریکه فقل له یقول لک ابن خالک عرفتنی بالحجاز و انکرتنی بالعراق فما عدا مما بدا\n",
              "208                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           ما کنت تصنع بسعه هذه الدار فی الدنیا و انت الیها فی الاخره کنت احوج و بلی ان شئت بلغت بها الاخره تقری فیها الضیف و تصل فیها الرحم و تطلع منها الحقوق مطالعها فاذا انت قد بلغت بها الاخره فقال له العلاء یا امیر المؤمنین اشکو الیک اخی عاصم بن زیاد قال و ما له قال لبس العباءه و تخلی عن الدنیا قال علی به فلما جاء قال یا عدی‌ نفسه لقد استهام بک الخبیث ا ما رحمت اهلک و ولدک ا تری الله احل لک الطیبات و هو یکره ان تاخذها انت اهون علی الله من ذلک قال یا امیر المؤمنین هذا انت فی خشونه ملبسک و جشوبه ماکلک قال ویحک انی لست کانت ان الله تعالی فرض علی ائمه العدل ان یقدروا انفسهم بضعفه الناس کیلا یتبیغ بالفقیر فقره\n",
              "585                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             و ساله رجل ان یعرفه الایمان فقال ع اذا کان الغد فاتنی حتی اخبرک علی اسماع الناس فان نسیت مقالتی حفظها علیک غیرک فان الکلام کالشارده ینقفها هذا و یخطئها هذا\n",
              "243                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         و روی‌ ان شریح بن الحارث قاضی‌ امیر المؤمنین ع اشتری علی عهده دارا بثمانین دینارا فبلغه ذلک فاستدعی شریحا و قال له بلغنی انک ابتعت دارا بثمانین دینارا و کتبت لها کتابا و اشهدت فیه شهودا فقال له شریح قد کان ذلک یا امیر المؤمنین قال فنظر الیه نظر المغضب ثم قال له یا شریح اما انه سیاتیک من لا ینظر فی کتابک و لا یسالک عن بینتک حتی یخرجک منها شاخصا و یسلمک الی قبرک خالصا فانظر یا شریح لا تکون ابتعت هذه الدار من غیر مالک او نقدت الثمن من غیر حلالک فاذا انت قد خسرت دار الدنیا و دار الاخره. اما انک لو کنت اتیتنی عند شرائک ما اشتریت لکتبت لک کتابا علی هذه النسخه فلم ترغب فی شراء هذه الدار بدرهم فما فوق و النسخه هذه هذا ما اشتری عبد ذلیل من میت قد ازعج للرحیل اشتری منه دارا من دار الغرور من جانب الفانین و خطه الهالکین و تجمع هذه الدار حدود اربعه الحد الاول ینتهی الی دواعی الافات و الحد الثانی ینتهی الی دواعی المصیبات و الحد الثالث ینتهی الی الهوی المردی و الحد الرابع ینتهی الی الشیطان المغوی و فیه یشرع باب هذه الدار اشتری هذا المغتر بالامل من هذا المزعج بالاجل هذه الدار بالخروج من عز القناعه و الدخول فی ذل الطلب و الضراعه فما ادرک هذا المشتری فیما اشتری منه من درک فعلی مبلبل اجسام الملوک و سالب نفوس الجبابره و مزیل ملک الفراعنه مثل کسری و قیصر و تبع و حمیر و من جمع المال علی المال فاکثر و من بنی و شید و زخرف و نجد و ادخر و اعتقد و نظر بزعمه للولد اشخاصهم جمیعا الی موقف العرض و الحساب و موضع الثواب و العقاب اذا وقع الامر بفصل القضاءو خسر هنالک المبطلونشهد علی ذلک العقل اذا خرج من اسر الهوی و سلم من علائق الدنیا\n",
              "396                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         و من خبر ضرار بن حمزه الضبائی‌ عند دخوله علی معاویه و مسالته له عن امیر المؤمنین ع و قال فاشهد لقد رایته فی بعض مواقفه و قد ارخی اللیل سدوله و هو قائم فی محرابه قابض علی لحیته یتململ تململ السلیم و یبکی بکاء الحزین و یقول یا دنیا یا دنیا الیک عنی ا بی تعرضت ام الی‌ تشوقت لا حان حینک هیهات غری غیری لا حاجه لی فیک قد طلقتک ثلاثا لا رجعه فیها فعیشک قصیر و خطرک یسیر و املک حقیر اه من قله الزاد و طول الطریق و بعد السفر و عظیم المورد\n",
              "268  اما بعد فقد اتانی کتابک تذکر فیه اصطفاء الله محمدا\n",
              "ص لدینه و تاییده ایاه لمن ایده من اصحابه فلقد خبا لنا الدهر منک عجبا اذ طفقت تخبرنا ببلاء الله تعالی عندنا و نعمته علینا فی نبینا فکنت فی ذلک کناقل التمر الی هجر او داعی مسدده الی النضال و زعمت ان افضل الناس فی الاسلام فلان و فلان فذکرت امرا ان تم اعتزلک کله و ان نقص لم یلحقک ثلمه و ما انت و الفاضل و المفضول و السائس و المسوس و ما للطلقاء و ابناء الطلقاء و التمییز بین المهاجرین الاولین و ترتیب درجاتهم و تعریف طبقاتهم هیهات لقد حن قدح لیس منها و طفق یحکم فیها من علیه الحکم لها ا لا تربع ایها الانسان علی ظلعک و تعرف قصور ذرعک و تتاخر حیث اخرک القدر فما علیک غلبه المغلوب و لا ظفر الظافر و انک لذهاب فی التیه رواغ عن القصد ا لا تری غیر مخبر لک و لکن بنعمه الله احدث ان قوما استشهدوا فی سبیل الله تعالی من المهاجرین و الانصار و لکل فضل حتی اذا استشهد شهیدنا قیل سید الشهداء و خصه رسول الله\n",
              "ص بسبعین تکبیره عند صلاته علیه ا و لا تری ان قوما قطعت ایدیهم فی سبیل الله و لکل فضل حتی اذا فعل بواحدنا ما فعل بواحدهم قیل الطیار فی الجنه و ذو الجناحین و لو لا ما نهی الله عنه من تزکیه المرء نفسه لذکر ذاکر فضائل جمه تعرفها قلوب المؤمنین و لا تمجها اذان السامعین فدع عنک من مالت به الرمیه فانا صنائع ربنا و الناس بعد صنائع لنا لم یمنعنا قدیم عزنا و لا عادی‌ طولنا علی قومک ان خلطناکم بانفسنا فنکحنا و انکحنا فعل الاکفاء و لستم هناک و انی یکون ذلک و منا النبی و منکم المکذب و منا اسد الله و منکم اسد الاحلاف و منا سیدا شباب اهل الجنه و منکم صبیه النار و منا خیر نساء العالمین و منکم حماله الحطب فی کثیر مما لنا و علیکم فاسلامنا قد سمع و جاهلیتنا لا تدفع و کتاب الله یجمع لنا ما شذ عنا و هو قوله سبحانه و تعالیو اولوا الارحام بعضهم اولی ببعض فی کتاب الله و قوله تعالیان اولی الناس بابراهیم للذین اتبعوه و هذا النبی و الذین امنوا و الله ولی‌ المؤمنینفنحن مره اولی بالقرابه و تاره اولی بالطاعه و لما احتج المهاجرون علی الانصار یوم السقیفه برسول الله\n",
              "ص فلجوا علیهم فان یکن الفلج به فالحق لنا دونکم و ان یکن بغیره فالانصار علی دعواهم و زعمت انی لکل الخلفاء حسدت و علی کلهم بغیت فان یکن ذلک کذلک فلیست الجنایه علیک فیکون العذر الیک و تلک شکاه ظاهر عنک عارها و قلت انی کنت اقاد کما یقاد الجمل المخشوش حتی ابایع و لعمر الله لقد اردت ان تذم فمدحت و ان تفضح فافتضحت و ما علی المسلم من غضاضه فی ان یکون مظلوما ما لم یکن شاکا فی دینه و لا مرتابا بیقینه و هذه حجتی الی غیرک قصدها و لکنی اطلقت لک منها بقدر ما سنح من ذکرها ثم ذکرت ما کان من امری و امر عثمان فلک ان تجاب عن هذه لرحمک منه فاینا کان اعدی له و اهدی الی مقاتله ا من بذل له نصرته فاستقعده و استکفه ام من استنصره فتراخی عنه و بث المنون الیه حتی اتی قدره علیه کلا و الله لقد یعلم الله المعوقین منکم و القائلین لاخوانهم هلم الینا و لا یاتون الباس الا قلیلا. و ما کنت لاعتذر من انی کنت انقم علیه احداثا فان کان الذنب الیه ارشادی و هدایتی له فرب ملوم لا ذنب له و قد یستفید الظنه المتنصح و ما اردتالا الاصلاح ما استطعت و ما توفیقی الا بالله علیه توکلت و الیه انیب و ذکرت انه لیس لی و لاصحابی عندک الا السیف فلقد اضحکت بعد استعبار متی الفیت بنی عبد المطلب عن الاعداء ناکلین و بالسیف مخوفین فلبث قلیلا یلحق الهیجا حمل فسیطلبک من تطلب و یقرب منک ما تستبعد و انا مرقل نحوک فی جحفل من المهاجرین و الانصار و التابعین لهم باحسان شدید زحامهم ساطع قتامهم متسربلین سرابیل الموت احب اللقاء الیهم لقاء ربهم و قد صحبتهم ذریه بدریه و سیوف هاشمیه قد عرفت مواقع نصالها فی اخیک و خالک و جدک و اهلکو ما هی‌ من الظالمین ببعید\n",
              "313                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          اما بعد فانی علی التردد فی جوابک و الاستماع الی کتابک لموهن رایی و مخطئ فراستی و انک اذ تحاولنی الامور و تراجعنی السطور کالمستثقل النائم تکذبه احلامه و المتحیر القائم یبهظه مقامه لا یدری ا له ما یاتی ام علیه و لست به غیر انه بک شبیه و اقسم بالله انه لو لا بعض الاستبقاء لوصلت الیک منی قوارع تقرع العظم و تهلس اللحم و اعلم ان الشیطان قد ثبطک عن ان تراجع احسن امورک و تاذن لمقال نصیحتک و السلام لاهله\n",
              "171                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        الحمد لله الذی لا تواری عنه سماء سماء و لا ارض ارضا منها و قد قال قائل انک علی هذا الامر یا ابن ابی طالب لحریص فقلت بل انتم و الله لاحرص و ابعد و انا اخص و اقرب و انما طلبت حقا لی و انتم تحولون بینی و بینه و تضربون وجهی دونه فلما قرعته بالحجه فی الملا الحاضرین هب کانه بهت لا یدری ما یجیبنی به اللهم انی استعدیک علی قریش و من اعانهم فانهم قطعوا رحمی و صغروا عظیم منزلتی‌ و اجمعوا علی منازعتی امرا هو لی ثم قالوا الا ان فی الحق ان تاخذه و فی الحق ان تترکه فخرجوا یجرون حرمه رسول الله\n",
              "ص کما تجر الامه عند شرائها متوجهین بها الی البصره فحبسا نساءهما فی بیوتهما و ابرزا حبیس رسول الله\n",
              "ص لهما و لغیرهما فی جیش ما منهم رجل الا و قد اعطانی الطاعه و سمح لی بالبیعه طائعا غیر مکره فقدموا علی عاملی بها و خزان بیت مال المسلمین و غیرهم من اهلها فقتلوا طائفه صبرا و طائفه غدرا فوالله لو لم یصیبوا من المسلمین الا رجلا واحدا معتمدین لقتله بلا جرم جره لحل لی قتل ذلک الجیش کله اذ حضروه فلم ینکروا و لم یدفعوا عنه بلسان و لا بید دع ما انهم قد قتلوا من المسلمین مثل العده التی دخلوا بها علیهم\n",
              "673                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              و هنا بحضرته رجل رجلا بغلام ولد له فقال له لیهنئک الفارس فقال ع لا تقل ذلک و لکن قل شکرت الواهب و بورک لک فی الموهوب و بلغ اشده و رزقت بره\n",
              "765                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    و قال ع لغالب بن صعصعه ابی الفرزدق فی کلام دار بینهما ما فعلت ابلک الکثیره قال دغدغتها الحقوق یا امیر المؤمنین فقال ع ذلک احمد سبلها\n",
              "169                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                و قد ارسله قوم من اهل البصره لما قرب ع منها لیعلم لهم منه حقیقه حاله مع اصحاب الجمل لتزول الشبهه من نفوسهم فبین له ع من امره معهم ما علم به انه علی الحق ثم قال له بایع فقال انی رسول قوم و لا احدث حدثا حتی ارجع الیهم فقال ع ا رایت لو ان الذین وراءک بعثوک رائدا تبتغی لهم مساقط الغیث فرجعت الیهم و اخبرتهم عن الکلا و الماء فخالفوا الی المعاطش و المجادب ما کنت صانعا قال کنت تارکهم و مخالفهم الی الکلا و الماء فقال ع فامدد اذا یدک فقال الرجل فوالله ما استطعت ان امتنع عند قیام الحجه علی فبایعته ع و الرجل یعرف بکلیب الجرمی‌\n",
              "279                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   فانک قد جعلت دینک تبعا لدنیا امر‌ئ ظاهر غیه مهتوک ستره یشین الکریم بمجلسه و یسفه الحلیم بخلطته فاتبعت اثره و طلبت فضله اتباع الکلب للضرغام یلوذ بمخالبه و ینتظر ما یلقی الیه من فضل فریسته فاذهبت دنیاک و اخرتک و لو بالحق اخذت ادرکت ما طلبت فان یمکنی الله منک و من ابن ابی سفیان اجزکما بما قدمتما و ان تعجزا و تبقیا فما امامکما شر لکما و السلام\n",
              "283                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           بلغنی عنک امر ان کنت فعلته فقد اسخطت الهک و عصیت امامک انک تقسم فی‌ء المسلمین الذی حازته رماحهم و خیولهم و اریقت علیه دماؤهم فیمن اعتامک من اعراب قومک فوالذی فلق الحبه و برا النسمه لئن کان ذلک حقا لتجدن لک علی هوانا و لتخفن عندی میزانا فلا تستهن بحق ربک و لا تصلح دنیاک بمحق دینک فتکون من الاخسرین اعمالا الا و ان حق من قبلک و قبلنا من المسلمین فی قسمه هذا الفی‌ء سواء یردون عندی علیه و یصدرون عنه\n",
              "140                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  ایها الناس من عرف من اخیه وثیقه دین و سداد طریق فلا یسمعن فیه اقاویل الرجال اما انه قد یرمی الرامی و تخطئ السهام و یحیل الکلام و باطل ذلک یبور و الله سمیع و شهید اما انه لیس بین الحق و الباطل الا اربع اصابع الباطل ان تقول سمعت و الحق ان تقول رایت\n",
              "311                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  اما بعد فان صلاح ابیک غرنی منک و ظننت انک تتبع هدیه و تسلک سبیله فاذا انت فیما رقی‌ الی‌ عنک لا تدع لهواک انقیادا و لا تبقی لاخرتک عتادا تعمر دنیاک بخراب اخرتک و تصل عشیرتک بقطیعه دینک و لئن کان ما بلغنی عنک حقا لجمل اهلک و شسع نعلک خیر منک و من کان بصفتک فلیس باهل ان یسد به ثغر او ینفذ به امر او یعلی له قدر او یشرک فی امانه او یؤمن علی جبایه فاقبل الی‌ حین یصل الیک کتابی هذا ان شاء الله"
            ],
            "text/html": [
              "\n",
              "  <div id=\"df-bdb52551-b204-43dd-9996-4e6f248bd975\">\n",
              "    <div class=\"colab-df-container\">\n",
              "      <div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>0</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>30</th>\n",
              "      <td>لا تلقین طلحه فانک ان تلقه تجده کالثور عاقصا قرنه یرکب الصعب و یقول هو الذلول و لکن الق الزبیر فانه الین عریکه فقل له یقول لک ابن خالک عرفتنی بالحجاز و انکرتنی بالعراق فما عدا مما بدا</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>208</th>\n",
              "      <td>ما کنت تصنع بسعه هذه الدار فی الدنیا و انت الیها فی الاخره کنت احوج و بلی ان شئت بلغت بها الاخره تقری فیها الضیف و تصل فیها الرحم و تطلع منها الحقوق مطالعها فاذا انت قد بلغت بها الاخره فقال له العلاء یا امیر المؤمنین اشکو الیک اخی عاصم بن زیاد قال و ما له قال لبس العباءه و تخلی عن الدنیا قال علی به فلما جاء قال یا عدی‌ نفسه لقد استهام بک الخبیث ا ما رحمت اهلک و ولدک ا تری الله احل لک الطیبات و هو یکره ان تاخذها انت اهون علی الله من ذلک قال یا امیر المؤمنین هذا انت فی خشونه ملبسک و جشوبه ماکلک قال ویحک انی لست کانت ان الله تعالی فرض علی ائمه العدل ان یقدروا انفسهم بضعفه الناس کیلا یتبیغ بالفقیر فقره</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>585</th>\n",
              "      <td>و ساله رجل ان یعرفه الایمان فقال ع اذا کان الغد فاتنی حتی اخبرک علی اسماع الناس فان نسیت مقالتی حفظها علیک غیرک فان الکلام کالشارده ینقفها هذا و یخطئها هذا</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>243</th>\n",
              "      <td>و روی‌ ان شریح بن الحارث قاضی‌ امیر المؤمنین ع اشتری علی عهده دارا بثمانین دینارا فبلغه ذلک فاستدعی شریحا و قال له بلغنی انک ابتعت دارا بثمانین دینارا و کتبت لها کتابا و اشهدت فیه شهودا فقال له شریح قد کان ذلک یا امیر المؤمنین قال فنظر الیه نظر المغضب ثم قال له یا شریح اما انه سیاتیک من لا ینظر فی کتابک و لا یسالک عن بینتک حتی یخرجک منها شاخصا و یسلمک الی قبرک خالصا فانظر یا شریح لا تکون ابتعت هذه الدار من غیر مالک او نقدت الثمن من غیر حلالک فاذا انت قد خسرت دار الدنیا و دار الاخره. اما انک لو کنت اتیتنی عند شرائک ما اشتریت لکتبت لک کتابا علی هذه النسخه فلم ترغب فی شراء هذه الدار بدرهم فما فوق و النسخه هذه هذا ما اشتری عبد ذلیل من میت قد ازعج للرحیل اشتری منه دارا من دار الغرور من جانب الفانین و خطه الهالکین و تجمع هذه الدار حدود اربعه الحد الاول ینتهی الی دواعی الافات و الحد الثانی ینتهی الی دواعی المصیبات و الحد الثالث ینتهی الی الهوی المردی و الحد الرابع ینتهی الی الشیطان المغوی و فیه یشرع باب هذه الدار اشتری هذا المغتر بالامل من هذا المزعج بالاجل هذه الدار بالخروج من عز القناعه و الدخول فی ذل الطلب و الضراعه فما ادرک هذا المشتری فیما اشتری منه من درک فعلی مبلبل اجسام الملوک و سالب نفوس الجبابره و مزیل ملک الفراعنه مثل کسری و قیصر و تبع و حمیر و من جمع المال علی المال فاکثر و من بنی و شید و زخرف و نجد و ادخر و اعتقد و نظر بزعمه للولد اشخاصهم جمیعا الی موقف العرض و الحساب و موضع الثواب و العقاب اذا وقع الامر بفصل القضاءو خسر هنالک المبطلونشهد علی ذلک العقل اذا خرج من اسر الهوی و سلم من علائق الدنیا</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>396</th>\n",
              "      <td>و من خبر ضرار بن حمزه الضبائی‌ عند دخوله علی معاویه و مسالته له عن امیر المؤمنین ع و قال فاشهد لقد رایته فی بعض مواقفه و قد ارخی اللیل سدوله و هو قائم فی محرابه قابض علی لحیته یتململ تململ السلیم و یبکی بکاء الحزین و یقول یا دنیا یا دنیا الیک عنی ا بی تعرضت ام الی‌ تشوقت لا حان حینک هیهات غری غیری لا حاجه لی فیک قد طلقتک ثلاثا لا رجعه فیها فعیشک قصیر و خطرک یسیر و املک حقیر اه من قله الزاد و طول الطریق و بعد السفر و عظیم المورد</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>268</th>\n",
              "      <td>اما بعد فقد اتانی کتابک تذکر فیه اصطفاء الله محمدا\u001eص لدینه و تاییده ایاه لمن ایده من اصحابه فلقد خبا لنا الدهر منک عجبا اذ طفقت تخبرنا ببلاء الله تعالی عندنا و نعمته علینا فی نبینا فکنت فی ذلک کناقل التمر الی هجر او داعی مسدده الی النضال و زعمت ان افضل الناس فی الاسلام فلان و فلان فذکرت امرا ان تم اعتزلک کله و ان نقص لم یلحقک ثلمه و ما انت و الفاضل و المفضول و السائس و المسوس و ما للطلقاء و ابناء الطلقاء و التمییز بین المهاجرین الاولین و ترتیب درجاتهم و تعریف طبقاتهم هیهات لقد حن قدح لیس منها و طفق یحکم فیها من علیه الحکم لها ا لا تربع ایها الانسان علی ظلعک و تعرف قصور ذرعک و تتاخر حیث اخرک القدر فما علیک غلبه المغلوب و لا ظفر الظافر و انک لذهاب فی التیه رواغ عن القصد ا لا تری غیر مخبر لک و لکن بنعمه الله احدث ان قوما استشهدوا فی سبیل الله تعالی من المهاجرین و الانصار و لکل فضل حتی اذا استشهد شهیدنا قیل سید الشهداء و خصه رسول الله\u001eص بسبعین تکبیره عند صلاته علیه ا و لا تری ان قوما قطعت ایدیهم فی سبیل الله و لکل فضل حتی اذا فعل بواحدنا ما فعل بواحدهم قیل الطیار فی الجنه و ذو الجناحین و لو لا ما نهی الله عنه من تزکیه المرء نفسه لذکر ذاکر فضائل جمه تعرفها قلوب المؤمنین و لا تمجها اذان السامعین فدع عنک من مالت به الرمیه فانا صنائع ربنا و الناس بعد صنائع لنا لم یمنعنا قدیم عزنا و لا عادی‌ طولنا علی قومک ان خلطناکم بانفسنا فنکحنا و انکحنا فعل الاکفاء و لستم هناک و انی یکون ذلک و منا النبی و منکم المکذب و منا اسد الله و منکم اسد الاحلاف و منا سیدا شباب اهل الجنه و منکم صبیه النار و منا خیر نساء العالمین و منکم حماله الحطب فی کثیر مما لنا و علیکم فاسلامنا قد سمع و جاهلیتنا لا تدفع و کتاب الله یجمع لنا ما شذ عنا و هو قوله سبحانه و تعالیو اولوا الارحام بعضهم اولی ببعض فی کتاب الله و قوله تعالیان اولی الناس بابراهیم للذین اتبعوه و هذا النبی و الذین امنوا و الله ولی‌ المؤمنینفنحن مره اولی بالقرابه و تاره اولی بالطاعه و لما احتج المهاجرون علی الانصار یوم السقیفه برسول الله\u001eص فلجوا علیهم فان یکن الفلج به فالحق لنا دونکم و ان یکن بغیره فالانصار علی دعواهم و زعمت انی لکل الخلفاء حسدت و علی کلهم بغیت فان یکن ذلک کذلک فلیست الجنایه علیک فیکون العذر الیک و تلک شکاه ظاهر عنک عارها و قلت انی کنت اقاد کما یقاد الجمل المخشوش حتی ابایع و لعمر الله لقد اردت ان تذم فمدحت و ان تفضح فافتضحت و ما علی المسلم من غضاضه فی ان یکون مظلوما ما لم یکن شاکا فی دینه و لا مرتابا بیقینه و هذه حجتی الی غیرک قصدها و لکنی اطلقت لک منها بقدر ما سنح من ذکرها ثم ذکرت ما کان من امری و امر عثمان فلک ان تجاب عن هذه لرحمک منه فاینا کان اعدی له و اهدی الی مقاتله ا من بذل له نصرته فاستقعده و استکفه ام من استنصره فتراخی عنه و بث المنون الیه حتی اتی قدره علیه کلا و الله لقد یعلم الله المعوقین منکم و القائلین لاخوانهم هلم الینا و لا یاتون الباس الا قلیلا. و ما کنت لاعتذر من انی کنت انقم علیه احداثا فان کان الذنب الیه ارشادی و هدایتی له فرب ملوم لا ذنب له و قد یستفید الظنه المتنصح و ما اردتالا الاصلاح ما استطعت و ما توفیقی الا بالله علیه توکلت و الیه انیب و ذکرت انه لیس لی و لاصحابی عندک الا السیف فلقد اضحکت بعد استعبار متی الفیت بنی عبد المطلب عن الاعداء ناکلین و بالسیف مخوفین فلبث قلیلا یلحق الهیجا حمل فسیطلبک من تطلب و یقرب منک ما تستبعد و انا مرقل نحوک فی جحفل من المهاجرین و الانصار و التابعین لهم باحسان شدید زحامهم ساطع قتامهم متسربلین سرابیل الموت احب اللقاء الیهم لقاء ربهم و قد صحبتهم ذریه بدریه و سیوف هاشمیه قد عرفت مواقع نصالها فی اخیک و خالک و جدک و اهلکو ما هی‌ من الظالمین ببعید</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>313</th>\n",
              "      <td>اما بعد فانی علی التردد فی جوابک و الاستماع الی کتابک لموهن رایی و مخطئ فراستی و انک اذ تحاولنی الامور و تراجعنی السطور کالمستثقل النائم تکذبه احلامه و المتحیر القائم یبهظه مقامه لا یدری ا له ما یاتی ام علیه و لست به غیر انه بک شبیه و اقسم بالله انه لو لا بعض الاستبقاء لوصلت الیک منی قوارع تقرع العظم و تهلس اللحم و اعلم ان الشیطان قد ثبطک عن ان تراجع احسن امورک و تاذن لمقال نصیحتک و السلام لاهله</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>171</th>\n",
              "      <td>الحمد لله الذی لا تواری عنه سماء سماء و لا ارض ارضا منها و قد قال قائل انک علی هذا الامر یا ابن ابی طالب لحریص فقلت بل انتم و الله لاحرص و ابعد و انا اخص و اقرب و انما طلبت حقا لی و انتم تحولون بینی و بینه و تضربون وجهی دونه فلما قرعته بالحجه فی الملا الحاضرین هب کانه بهت لا یدری ما یجیبنی به اللهم انی استعدیک علی قریش و من اعانهم فانهم قطعوا رحمی و صغروا عظیم منزلتی‌ و اجمعوا علی منازعتی امرا هو لی ثم قالوا الا ان فی الحق ان تاخذه و فی الحق ان تترکه فخرجوا یجرون حرمه رسول الله\u001eص کما تجر الامه عند شرائها متوجهین بها الی البصره فحبسا نساءهما فی بیوتهما و ابرزا حبیس رسول الله\u001eص لهما و لغیرهما فی جیش ما منهم رجل الا و قد اعطانی الطاعه و سمح لی بالبیعه طائعا غیر مکره فقدموا علی عاملی بها و خزان بیت مال المسلمین و غیرهم من اهلها فقتلوا طائفه صبرا و طائفه غدرا فوالله لو لم یصیبوا من المسلمین الا رجلا واحدا معتمدین لقتله بلا جرم جره لحل لی قتل ذلک الجیش کله اذ حضروه فلم ینکروا و لم یدفعوا عنه بلسان و لا بید دع ما انهم قد قتلوا من المسلمین مثل العده التی دخلوا بها علیهم</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>673</th>\n",
              "      <td>و هنا بحضرته رجل رجلا بغلام ولد له فقال له لیهنئک الفارس فقال ع لا تقل ذلک و لکن قل شکرت الواهب و بورک لک فی الموهوب و بلغ اشده و رزقت بره</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>765</th>\n",
              "      <td>و قال ع لغالب بن صعصعه ابی الفرزدق فی کلام دار بینهما ما فعلت ابلک الکثیره قال دغدغتها الحقوق یا امیر المؤمنین فقال ع ذلک احمد سبلها</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>169</th>\n",
              "      <td>و قد ارسله قوم من اهل البصره لما قرب ع منها لیعلم لهم منه حقیقه حاله مع اصحاب الجمل لتزول الشبهه من نفوسهم فبین له ع من امره معهم ما علم به انه علی الحق ثم قال له بایع فقال انی رسول قوم و لا احدث حدثا حتی ارجع الیهم فقال ع ا رایت لو ان الذین وراءک بعثوک رائدا تبتغی لهم مساقط الغیث فرجعت الیهم و اخبرتهم عن الکلا و الماء فخالفوا الی المعاطش و المجادب ما کنت صانعا قال کنت تارکهم و مخالفهم الی الکلا و الماء فقال ع فامدد اذا یدک فقال الرجل فوالله ما استطعت ان امتنع عند قیام الحجه علی فبایعته ع و الرجل یعرف بکلیب الجرمی‌</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>279</th>\n",
              "      <td>فانک قد جعلت دینک تبعا لدنیا امر‌ئ ظاهر غیه مهتوک ستره یشین الکریم بمجلسه و یسفه الحلیم بخلطته فاتبعت اثره و طلبت فضله اتباع الکلب للضرغام یلوذ بمخالبه و ینتظر ما یلقی الیه من فضل فریسته فاذهبت دنیاک و اخرتک و لو بالحق اخذت ادرکت ما طلبت فان یمکنی الله منک و من ابن ابی سفیان اجزکما بما قدمتما و ان تعجزا و تبقیا فما امامکما شر لکما و السلام</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>283</th>\n",
              "      <td>بلغنی عنک امر ان کنت فعلته فقد اسخطت الهک و عصیت امامک انک تقسم فی‌ء المسلمین الذی حازته رماحهم و خیولهم و اریقت علیه دماؤهم فیمن اعتامک من اعراب قومک فوالذی فلق الحبه و برا النسمه لئن کان ذلک حقا لتجدن لک علی هوانا و لتخفن عندی میزانا فلا تستهن بحق ربک و لا تصلح دنیاک بمحق دینک فتکون من الاخسرین اعمالا الا و ان حق من قبلک و قبلنا من المسلمین فی قسمه هذا الفی‌ء سواء یردون عندی علیه و یصدرون عنه</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>140</th>\n",
              "      <td>ایها الناس من عرف من اخیه وثیقه دین و سداد طریق فلا یسمعن فیه اقاویل الرجال اما انه قد یرمی الرامی و تخطئ السهام و یحیل الکلام و باطل ذلک یبور و الله سمیع و شهید اما انه لیس بین الحق و الباطل الا اربع اصابع الباطل ان تقول سمعت و الحق ان تقول رایت</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>311</th>\n",
              "      <td>اما بعد فان صلاح ابیک غرنی منک و ظننت انک تتبع هدیه و تسلک سبیله فاذا انت فیما رقی‌ الی‌ عنک لا تدع لهواک انقیادا و لا تبقی لاخرتک عتادا تعمر دنیاک بخراب اخرتک و تصل عشیرتک بقطیعه دینک و لئن کان ما بلغنی عنک حقا لجمل اهلک و شسع نعلک خیر منک و من کان بصفتک فلیس باهل ان یسد به ثغر او ینفذ به امر او یعلی له قدر او یشرک فی امانه او یؤمن علی جبایه فاقبل الی‌ حین یصل الیک کتابی هذا ان شاء الله</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>\n",
              "      <button class=\"colab-df-convert\" onclick=\"convertToInteractive('df-bdb52551-b204-43dd-9996-4e6f248bd975')\"\n",
              "              title=\"Convert this dataframe to an interactive table.\"\n",
              "              style=\"display:none;\">\n",
              "        \n",
              "  <svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\"viewBox=\"0 0 24 24\"\n",
              "       width=\"24px\">\n",
              "    <path d=\"M0 0h24v24H0V0z\" fill=\"none\"/>\n",
              "    <path d=\"M18.56 5.44l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94zm-11 1L8.5 8.5l.94-2.06 2.06-.94-2.06-.94L8.5 2.5l-.94 2.06-2.06.94zm10 10l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94z\"/><path d=\"M17.41 7.96l-1.37-1.37c-.4-.4-.92-.59-1.43-.59-.52 0-1.04.2-1.43.59L10.3 9.45l-7.72 7.72c-.78.78-.78 2.05 0 2.83L4 21.41c.39.39.9.59 1.41.59.51 0 1.02-.2 1.41-.59l7.78-7.78 2.81-2.81c.8-.78.8-2.07 0-2.86zM5.41 20L4 18.59l7.72-7.72 1.47 1.35L5.41 20z\"/>\n",
              "  </svg>\n",
              "      </button>\n",
              "      \n",
              "  <style>\n",
              "    .colab-df-container {\n",
              "      display:flex;\n",
              "      flex-wrap:wrap;\n",
              "      gap: 12px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert {\n",
              "      background-color: #E8F0FE;\n",
              "      border: none;\n",
              "      border-radius: 50%;\n",
              "      cursor: pointer;\n",
              "      display: none;\n",
              "      fill: #1967D2;\n",
              "      height: 32px;\n",
              "      padding: 0 0 0 0;\n",
              "      width: 32px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert:hover {\n",
              "      background-color: #E2EBFA;\n",
              "      box-shadow: 0px 1px 2px rgba(60, 64, 67, 0.3), 0px 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "      fill: #174EA6;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert {\n",
              "      background-color: #3B4455;\n",
              "      fill: #D2E3FC;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert:hover {\n",
              "      background-color: #434B5C;\n",
              "      box-shadow: 0px 1px 3px 1px rgba(0, 0, 0, 0.15);\n",
              "      filter: drop-shadow(0px 1px 2px rgba(0, 0, 0, 0.3));\n",
              "      fill: #FFFFFF;\n",
              "    }\n",
              "  </style>\n",
              "\n",
              "      <script>\n",
              "        const buttonEl =\n",
              "          document.querySelector('#df-bdb52551-b204-43dd-9996-4e6f248bd975 button.colab-df-convert');\n",
              "        buttonEl.style.display =\n",
              "          google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "\n",
              "        async function convertToInteractive(key) {\n",
              "          const element = document.querySelector('#df-bdb52551-b204-43dd-9996-4e6f248bd975');\n",
              "          const dataTable =\n",
              "            await google.colab.kernel.invokeFunction('convertToInteractive',\n",
              "                                                     [key], {});\n",
              "          if (!dataTable) return;\n",
              "\n",
              "          const docLinkHtml = 'Like what you see? Visit the ' +\n",
              "            '<a target=\"_blank\" href=https://colab.research.google.com/notebooks/data_table.ipynb>data table notebook</a>'\n",
              "            + ' to learn more about interactive tables.';\n",
              "          element.innerHTML = '';\n",
              "          dataTable['output_type'] = 'display_data';\n",
              "          await google.colab.output.renderOutput(dataTable, element);\n",
              "          const docLink = document.createElement('div');\n",
              "          docLink.innerHTML = docLinkHtml;\n",
              "          element.appendChild(docLink);\n",
              "        }\n",
              "      </script>\n",
              "    </div>\n",
              "  </div>\n",
              "  "
            ]
          },
          "metadata": {},
          "execution_count": 30
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "compare_to = 30\n",
        "mean_embedding = get_mean_embedding(model,list(sahife_complete_dict_nrmlz))\n",
        "most_similar=get_most_similar(mean_embedding, compare_to)\n",
        "\n",
        "verse_complete=pd.DataFrame(sahife_complete_dict_nrmlz)\n",
        "print(verse_complete.iloc[compare_to].values)\n",
        "\n",
        "verse_complete.iloc[most_similar]"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 634
        },
        "id": "k3kNnqnw_GQd",
        "outputId": "8a90070e-b88f-4caf-d719-8acfba956228"
      },
      "execution_count": 33,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "[' فختم بنا علی جمیع من ذرا، و جعلنا شهداء علی من جحد، و کثرنا بمنه\\u200c علی من قل.  ']\n"
          ]
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "                                                                                                                                                                                                                                                                                  0\n",
              "30                                                                                                                                                                                                   فختم بنا علی جمیع من ذرا، و جعلنا شهداء علی من جحد، و کثرنا بمنه‌ علی من قل.  \n",
              "873                                                                                                                                                                                                   هذا مقام من اعترف بسبوغ النعم، و قابلها بالتقصیر، و شهد علی نفسه‌ بالتضییع.  \n",
              "573                                                                                      اللهم انک انزلته‌ علی نبیک محمد- صلی الله‌ علیه‌ و اله‌- مجملا، و الهمته‌ علم عجائبه‌ مکملا، و ورثتنا علمه‌ مفسرا، و فضلتنا علی من جهل علمه‌، و قویتنا علیه‌ لترفعنا فوق من لم یطق حمله‌. \n",
              "104                                                                                                                                                                                                              و یا من تصغر عند خطره‌ الاخطار، صل علی محمد و اله‌، و کرمنا علیک. \n",
              "574                                                             اللهم فکما جعلت قلوبنا له‌ حمله، و عرفتنا برحمتک شرفه‌ و فضله‌، فصل علی محمد الخطیب به‌، و علی اله‌ الخزان له‌، و اجعلنا ممن یعترف بانه‌ من عندک حتی لا یعارضنا الشک في تصدیقه‌، و لا یختلجنا الزیغ عن قصد طریقه‌. \n",
              "634                                                                                                                                                            یا من تحمد الی عباده‌ بالاحسان و الفضل، و غمرهم بالمن و الطول، ما افشی فینا نعمتک، و اسبغ علینا منتک، و اخصنا ببرک! \n",
              "279                                                                                                                                              اللهم صل علی محمد و اله‌، و امتعنا من الهدی بمثل ضلالته‌، و زودنا من التقوی ضد غوایته‌، و اسلک بنا من التقی خلاف سبیله‌ من الردی. \n",
              "742                                                                                                                                                                                                                 حمدا یعان من اجتهد في تعدیده‌، و یؤید من اغرق نزعا في توفیته‌. \n",
              "542   فمن اکرم- یا الهي- منک، و من اشقی ممن هلک علیک لا! من فتبارکت ان توصف الا بالاحسان، و کرمت ان یخاف منک الا العدل، لا یخشی جورک علی من عصاک، و لا یخاف اغفالک ثواب من ارضاک، فصل علی محمد و اله‌، و هب لي املي، و زدني من هداک ما اصل به‌ الی التوفیق في عملي، انک منان کریم. \n",
              "134                                                                                                                                    و اجعلنا من ارضی من مر علیه‌ اللیل و النهار من جمله خلقک، اشکرهم لما اولیت من نعمک، و اقومهم بما شرعت من شرائعک، و اوقفهم عما حذرت من نهیک. \n",
              "534                                                                                                                                                            فکل البریه معترفه بانک غیر ظالم لمن عاقبت، و شاهده بانک متفضل علی من عافیت، و کل مقر علی نفسه‌ بالتقصیر عما استوجبت \n",
              "369                                                                                                                                                                            اللهم صل علی محمد و اله‌ کما شرفتنا به‌، و صل علی محمد و اله‌، کما اوجبت لنا الحق علی الخلق بسببه‌. \n",
              "569                                                                                                                                                           اللهم انک اعنتني علی ختم کتابک الذي انزلته‌ نورا، و جعلته‌ مهیمنا علی کل کتاب انزلته‌، و فضلته‌ علی کل حدیث قصصته‌.  \n",
              "598                                                                                                                                                                     الحمد لله‌ الذي هدانا لحمده‌، و جعلنا من اهله‌ لنکون لاحسانه‌ من الشاکرین، و لیجزینا علی ذلک جزاء المحسنین \n",
              "648                                                                                                                                                                                                               السلام علیک ما کان اطولک علی المجرمین، و اهیبک في صدور المؤمنین! "
            ],
            "text/html": [
              "\n",
              "  <div id=\"df-4d27e286-f158-4834-b0e1-8c3e9d7b497a\">\n",
              "    <div class=\"colab-df-container\">\n",
              "      <div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>0</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>30</th>\n",
              "      <td>فختم بنا علی جمیع من ذرا، و جعلنا شهداء علی من جحد، و کثرنا بمنه‌ علی من قل.</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>873</th>\n",
              "      <td>هذا مقام من اعترف بسبوغ النعم، و قابلها بالتقصیر، و شهد علی نفسه‌ بالتضییع.</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>573</th>\n",
              "      <td>اللهم انک انزلته‌ علی نبیک محمد- صلی الله‌ علیه‌ و اله‌- مجملا، و الهمته‌ علم عجائبه‌ مکملا، و ورثتنا علمه‌ مفسرا، و فضلتنا علی من جهل علمه‌، و قویتنا علیه‌ لترفعنا فوق من لم یطق حمله‌.</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>104</th>\n",
              "      <td>و یا من تصغر عند خطره‌ الاخطار، صل علی محمد و اله‌، و کرمنا علیک.</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>574</th>\n",
              "      <td>اللهم فکما جعلت قلوبنا له‌ حمله، و عرفتنا برحمتک شرفه‌ و فضله‌، فصل علی محمد الخطیب به‌، و علی اله‌ الخزان له‌، و اجعلنا ممن یعترف بانه‌ من عندک حتی لا یعارضنا الشک في تصدیقه‌، و لا یختلجنا الزیغ عن قصد طریقه‌.</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>634</th>\n",
              "      <td>یا من تحمد الی عباده‌ بالاحسان و الفضل، و غمرهم بالمن و الطول، ما افشی فینا نعمتک، و اسبغ علینا منتک، و اخصنا ببرک!</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>279</th>\n",
              "      <td>اللهم صل علی محمد و اله‌، و امتعنا من الهدی بمثل ضلالته‌، و زودنا من التقوی ضد غوایته‌، و اسلک بنا من التقی خلاف سبیله‌ من الردی.</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>742</th>\n",
              "      <td>حمدا یعان من اجتهد في تعدیده‌، و یؤید من اغرق نزعا في توفیته‌.</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>542</th>\n",
              "      <td>فمن اکرم- یا الهي- منک، و من اشقی ممن هلک علیک لا! من فتبارکت ان توصف الا بالاحسان، و کرمت ان یخاف منک الا العدل، لا یخشی جورک علی من عصاک، و لا یخاف اغفالک ثواب من ارضاک، فصل علی محمد و اله‌، و هب لي املي، و زدني من هداک ما اصل به‌ الی التوفیق في عملي، انک منان کریم.</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>134</th>\n",
              "      <td>و اجعلنا من ارضی من مر علیه‌ اللیل و النهار من جمله خلقک، اشکرهم لما اولیت من نعمک، و اقومهم بما شرعت من شرائعک، و اوقفهم عما حذرت من نهیک.</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>534</th>\n",
              "      <td>فکل البریه معترفه بانک غیر ظالم لمن عاقبت، و شاهده بانک متفضل علی من عافیت، و کل مقر علی نفسه‌ بالتقصیر عما استوجبت</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>369</th>\n",
              "      <td>اللهم صل علی محمد و اله‌ کما شرفتنا به‌، و صل علی محمد و اله‌، کما اوجبت لنا الحق علی الخلق بسببه‌.</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>569</th>\n",
              "      <td>اللهم انک اعنتني علی ختم کتابک الذي انزلته‌ نورا، و جعلته‌ مهیمنا علی کل کتاب انزلته‌، و فضلته‌ علی کل حدیث قصصته‌.</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>598</th>\n",
              "      <td>الحمد لله‌ الذي هدانا لحمده‌، و جعلنا من اهله‌ لنکون لاحسانه‌ من الشاکرین، و لیجزینا علی ذلک جزاء المحسنین</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>648</th>\n",
              "      <td>السلام علیک ما کان اطولک علی المجرمین، و اهیبک في صدور المؤمنین!</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>\n",
              "      <button class=\"colab-df-convert\" onclick=\"convertToInteractive('df-4d27e286-f158-4834-b0e1-8c3e9d7b497a')\"\n",
              "              title=\"Convert this dataframe to an interactive table.\"\n",
              "              style=\"display:none;\">\n",
              "        \n",
              "  <svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\"viewBox=\"0 0 24 24\"\n",
              "       width=\"24px\">\n",
              "    <path d=\"M0 0h24v24H0V0z\" fill=\"none\"/>\n",
              "    <path d=\"M18.56 5.44l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94zm-11 1L8.5 8.5l.94-2.06 2.06-.94-2.06-.94L8.5 2.5l-.94 2.06-2.06.94zm10 10l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94z\"/><path d=\"M17.41 7.96l-1.37-1.37c-.4-.4-.92-.59-1.43-.59-.52 0-1.04.2-1.43.59L10.3 9.45l-7.72 7.72c-.78.78-.78 2.05 0 2.83L4 21.41c.39.39.9.59 1.41.59.51 0 1.02-.2 1.41-.59l7.78-7.78 2.81-2.81c.8-.78.8-2.07 0-2.86zM5.41 20L4 18.59l7.72-7.72 1.47 1.35L5.41 20z\"/>\n",
              "  </svg>\n",
              "      </button>\n",
              "      \n",
              "  <style>\n",
              "    .colab-df-container {\n",
              "      display:flex;\n",
              "      flex-wrap:wrap;\n",
              "      gap: 12px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert {\n",
              "      background-color: #E8F0FE;\n",
              "      border: none;\n",
              "      border-radius: 50%;\n",
              "      cursor: pointer;\n",
              "      display: none;\n",
              "      fill: #1967D2;\n",
              "      height: 32px;\n",
              "      padding: 0 0 0 0;\n",
              "      width: 32px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert:hover {\n",
              "      background-color: #E2EBFA;\n",
              "      box-shadow: 0px 1px 2px rgba(60, 64, 67, 0.3), 0px 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "      fill: #174EA6;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert {\n",
              "      background-color: #3B4455;\n",
              "      fill: #D2E3FC;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert:hover {\n",
              "      background-color: #434B5C;\n",
              "      box-shadow: 0px 1px 3px 1px rgba(0, 0, 0, 0.15);\n",
              "      filter: drop-shadow(0px 1px 2px rgba(0, 0, 0, 0.3));\n",
              "      fill: #FFFFFF;\n",
              "    }\n",
              "  </style>\n",
              "\n",
              "      <script>\n",
              "        const buttonEl =\n",
              "          document.querySelector('#df-4d27e286-f158-4834-b0e1-8c3e9d7b497a button.colab-df-convert');\n",
              "        buttonEl.style.display =\n",
              "          google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "\n",
              "        async function convertToInteractive(key) {\n",
              "          const element = document.querySelector('#df-4d27e286-f158-4834-b0e1-8c3e9d7b497a');\n",
              "          const dataTable =\n",
              "            await google.colab.kernel.invokeFunction('convertToInteractive',\n",
              "                                                     [key], {});\n",
              "          if (!dataTable) return;\n",
              "\n",
              "          const docLinkHtml = 'Like what you see? Visit the ' +\n",
              "            '<a target=\"_blank\" href=https://colab.research.google.com/notebooks/data_table.ipynb>data table notebook</a>'\n",
              "            + ' to learn more about interactive tables.';\n",
              "          element.innerHTML = '';\n",
              "          dataTable['output_type'] = 'display_data';\n",
              "          await google.colab.output.renderOutput(dataTable, element);\n",
              "          const docLink = document.createElement('div');\n",
              "          docLink.innerHTML = docLinkHtml;\n",
              "          element.appendChild(docLink);\n",
              "        }\n",
              "      </script>\n",
              "    </div>\n",
              "  </div>\n",
              "  "
            ]
          },
          "metadata": {},
          "execution_count": 33
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        ""
      ],
      "metadata": {
        "id": "Ich_6yJq_QTT"
      },
      "execution_count": null,
      "outputs": []
    }
  ]
}