ConversationalModelsHF.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "provenance": [],
      "authorship_tag": "ABX9TyNAVLrH6o0O7xGpfhF8xxCg",
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    },
    "accelerator": "GPU",
    "gpuClass": "standard"
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/jansoe/AICA/blob/main/ConversationalModelsHF.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# A minmal Chat with transformers"
      ],
      "metadata": {
        "id": "Vpv9lg19sMKw"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "Zuerst müssen wir dafür sorgen das die transformers-Funktionalität von Hugging Face auf unserem Cloudrechner vorhanden ist. D.h. wir müssen diese installieren:"
      ],
      "metadata": {
        "id": "8HlBQn0ysqjl"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "!pip install transformers[torch]==4.22.2 -q"
      ],
      "metadata": {
        "id": "XThkwnfzixFS"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "und nun diese (und noch eine weiter) Funktionalität importieren, Sie also in nicht nur auf dem Cloudrechner sondern auch in diesem Notebook zur Verfügung stellen."
      ],
      "metadata": {
        "id": "8njMz5Vms2ow"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "import transformers\n",
        "from IPython.display import clear_output"
      ],
      "metadata": {
        "id": "iVV7npbGl0ox"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Nun können wir die transformers-Funktionalität nutzen und für eine Vielzahl Tasks ein Modell initalisieren. In diesem Fall initialisieren wir ein Konversationsmodell für Unterhaltungen und zwar das `blenderbot_small-90M`-Modell von Facebook. Weitere Konverstationmodelle finden Sie bei Hugging Face: [link](https://huggingface.co/tasks/conversational)  "
      ],
      "metadata": {
        "id": "4NFEhGS8sVQ_"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "converse = transformers.pipeline(\n",
        "    task=\"conversational\", \n",
        "    model='facebook/blenderbot_small-90M', \n",
        "    framework='pt'\n",
        ")"
      ],
      "metadata": {
        "id": "zp0MV1XOmK46"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Mit diesem Modell können wir nun einen kleinen Chatbot schreiben, der immer eine Nutzereingabe entgegen nimmt, dann eine Antwort generiert und auf eine weitere Nutzereingabe wartet: "
      ],
      "metadata": {
        "id": "zCLrIfD8vASv"
      }
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "eRDalmNBiqZs"
      },
      "outputs": [],
      "source": [
        "next_user_input = input(\"Start the chat: \")\n",
        "conversation = transformers.Conversation()\n",
        "\n",
        "while True:\n",
        "\n",
        "    conversation.add_user_input(next_user_input)\n",
        "    _ = converse(conversation)\n",
        "\n",
        "    clear_output()\n",
        "    print('\\n\\n' + str(conversation))\n",
        "    \n",
        "    next_user_input = input(\"user >> \")\n",
        "    if next_user_input.strip() == \"exit\":\n",
        "        break "
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "## Aufgaben:\n",
        "1. Führen Sie eine Unterhaltung mit dem Chatbot\n",
        "  * Schauen Sie im Code ob Sie herausfinden mit welcher Eingabe Sie den Chat beenden\n",
        "  * Beobachten Sie irgendwelche Fehlermeldungen/Hinweise/Warnungen?\n",
        "2. Nutzen Sie auch andere Modell als den `facebook/blenderbot_small-90M`\n",
        "  * Was beobachten Sie?\n",
        "3. Bonus (Programmiererfahrung nötig): Erstellen Sie zwei Konverstationsmodelle die sich nach einer ersten Nutzereingabe ohne weitere Nutzereingaben gegenseitig antworten."
      ],
      "metadata": {
        "id": "HB7yPrutxA4r"
      }
    },
    {
      "cell_type": "code",
      "source": [],
      "metadata": {
        "id": "RShXC0EuyVbd"
      },
      "execution_count": null,
      "outputs": []
    }
  ]
}