google_location.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Daten aus der eigenen Google Location History explorieren"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Um mit den Daten aus Ihrem persönlichen Datenarchiv zu arbeiten, müssen Sie diese zunächst [exportieren](https://support.google.com/accounts/answer/3024190?hl=de). In diesem Notebook arbeiten wir mit Daten zum [Google Standortverlauf](https://support.google.com/accounts/answer/3118687?hl=de) (engl. Location History). Um mit diesem Notebook zu arbeiten, müssen Sie Ihre Daten zum Standortverlauf im `JSON`-Format exportieren."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Sobald Sie Ihre Google-Daten heruntergeladen haben, müssen Sie die entsprechende `.zip`-Datei zunächst entpacken (der Name der Datei sollte mit \"gtakeout\" beginnen). Die Daten zum Standortverlauf sollten dann im Unterordner `Takeout/Standortverlauf` liegen. Die entsprechende Datei sollte `Standortverlauf.json` heißen."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Hinweis**: Wenn Sie die Daten lokal auf Ihrem Rechner explorieren möchten, können Sie dies nach dem Entpacken des Archivs über das Öffnen der Datei `Archiv_Übersicht.html` in Ihrem Browser tun."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Wie auch in den anderen Notebooks für die Twitter- und Facebook-Daten, müssen Sie die Daten zur Exploration mit diesem Notebook hier hochladen. Die Datei sollte hier im Ordner *data* gespeichert werden. Öffnen Sie diesen (durch Doppelklick auf den Ordnernamen) im File Explorer auf der linken Seite und nutzen dann den *Upload Files*-Button im Menü oben links (das Symbol ist ein Pfeil über einem Strich). Wählen Sie darüber die entsprechende `JSON`-Datei von Ihrem lokalen Rechner aus und laden Sie diese in den Ordner *data* hoch."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Hinweis**: Wenn Sie den Google-Standortverlauf schon sehr lange und/oder regelmäßig nutzen, kann die Datei recht groß sein. In diesem Fall können der Upload sowie das Einlesen (im Code weiter unten) etwas länger dauern (dies gilt ggf. auch für das lokale Öffnen und Bearbeiten der Datei)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Zur Erinnerung**: Ihre persönliche Kopie des Notebooks sowie alle Dateien, die Sie hochladen, werden am Ende der Nutzungssitzung gelöscht (es sei denn, Sie haben und nutzen einen Account für GESIS Notebooks). Wenn Sie aber ganz \"auf Nummer sicher gehen\" wollen, können Sie die Datei mit Ihren Daten zum Google Standortverlauf über den File Explorer auf der linken Seite nach dem Durcharbeiten dieses Notebooks auch manuell löschen: Rechtsklick auf den Dateinamen und dann *Delete* auswählen."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Pakete laden"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Wie in den anderen Notebooks auch, ist der erste Schritt das Laden der benötigten `R`-Pakete."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "library(jsonlite)\n",
    "library(dplyr)\n",
    "library(lubridate)\n",
    "library(ggplot2)\n",
    "library(scales)\n",
    "library(stringr)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Daten einlesen und aufbereiten"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Im zweiten Schritt lesen wir die Daten ein und bringen sie in ein Format, mit dem wir dann arbeiten können (**NB**: Sollte Ihre Datei einen anderen Namen haben, müssen Sie diese entweder umbenennen oder den Dateinamen in der nachfolgenden Code-Zelle entsprechend anpassen.)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "loc_hist <- fromJSON(\"./data/Standortverlauf.json\")\n",
    "locations <- loc_hist$locations"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Da wir u.a. Trends bzw. Unterschiede über die Zeit visualisieren wollen, müssen wir die benötigten Zeitstempel formatieren bzw. generieren. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "locations <- locations %>% \n",
    "  mutate(timedate = as_datetime(as.numeric(timestampMs)/1000),\n",
    "         timedate = with_tz(timedate, tzone = \"Europe/Berlin\"),\n",
    "         date = as.Date(timedate),\n",
    "         year = year(timedate),\n",
    "         month = month(timedate))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Um einen ersten Eindruck von den Daten zu bekommen, können wir uns die Namen der Variablen sowie die ersten zehn Fälle/Reihen anzeigen lassen."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "names(locations)\n",
    "head(locations, 10)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Welchen Zeitraum decken die Daten ab?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "min(locations$timedate)\n",
    "max(locations$timedate)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Für wie viele Tage liegen Daten vor?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "n_days <- n_distinct(locations$date)\n",
    "n_days"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Wie viele Datenpunkte liegen für die einzelnen Jahre vor?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "table(locations$year)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Wie viele Datenpunkte liegen im Durchschnitt für die Tage vor, für die Daten vorhanden sind?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "n_avg_day <- round(nrow(locations)/n_days,2)\n",
    "n_avg_day"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Und wie viele Werte sind es für diese Tage durchschnittlich pro Stunde?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "round(n_avg_day/24 ,2)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Datenpunkte pro Monat im Zeitverlauf"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "locations %>%\n",
    "  mutate(time_floor = floor_date(timedate, unit = \"1 month\")) %>%\n",
    "  count(time_floor) %>%\n",
    "  ggplot(aes(x = as.factor(str_sub(as.character(time_floor), end = -4)), y = n)) +\n",
    "  geom_bar(stat = \"identity\") +\n",
    "  scale_y_continuous(expand = expansion(mult=c(0,0.1))) +\n",
    "  labs(title = \"Number of times tracked per month by Google Location\",\n",
    "       x = \"Month\",\n",
    "       y = \"Number of data points\") +\n",
    "  theme(axis.text.x = element_text(angle = 90, vjust = 0.5, hjust = 1))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Genauigkeit der Messungen"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Die Daten enthalten auch Informationen dazu, wie genau die jeweiligen Standortmessungen sind. Zwecks Visualisierung teilen wir die numerische Variable, welche die Genauigkeit in Metern angibt, in Kategorien ein. Wir definieren hier eine Genauigkeit < 800m als hoch, eine über 800m aber unter 5000m als mittel und alles über 5000m als niedrig."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "locations <- locations %>% \n",
    "  mutate(acc_cat = factor(case_when(\n",
    "    accuracy < 800 ~ \"high\",\n",
    "    accuracy < 5000 ~ \"medium\",\n",
    "    TRUE ~ \"low\"),\n",
    "    levels = c(\"high\", \"medium\", \"low\")))\n",
    "\n",
    "locations %>% \n",
    "  ggplot(aes(x = accuracy, fill = acc_cat)) + \n",
    "  geom_histogram() + \n",
    "  facet_grid(acc_cat ~ ., scales=\"free\") + \n",
    "  theme(\n",
    "    legend.position = \"none\",\n",
    "    axis.text.x = element_text(angle = 0, vjust = 0.5, hjust = 0.5)\n",
    "  ) +\n",
    "  labs(\n",
    "    x = \"Accuracy in meters\",\n",
    "    y = \"Number of data points\",\n",
    "    title = \"How accurate are my Google Location data?\"\n",
    "  )"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Aktivitäten"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "In den Daten zum Standortverlauf ist auch eine automatisierte (auf Machine Learning basierende) Einschätzung der jeweiligen Bewegungsaktivität durch Google enthalten. Die Daten hierzu liegen in einer verschachtelten Struktur vor, weshalb einige weitere Aufbereitungsschritte nötig sind. Je nach Umfang der Daten kann dieser Schritt etwas dauern."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "activities <- locations$activity\n",
    "\n",
    "list.condition <- sapply(activities, function(x) !is.null(x[[1]]))\n",
    "                         \n",
    "activities  <- activities[list.condition]\n",
    "                         \n",
    "activities_df <- bind_rows(activities) %>% \n",
    "  mutate(time = as.numeric(timestampMs)/1000)\n",
    "                         \n",
    "main_activity <- sapply(activities_df$activity, function(x) x[[1]][1][[1]][1])\n",
    "                        \n",
    "activities_df <- data.frame(main_activity = main_activity, \n",
    "                            time = activities_df$time) %>% \n",
    "  mutate(timedate = as_datetime(time),\n",
    "         timedate = with_tz(timedate, tzone = \"Europe/Berlin\"),\n",
    "         year = year(timedate))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Nun können wir die Verteilung der erkannten Aktivitäten visualisieren."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "activities_df %>% \n",
    "  ggplot(aes(x = main_activity, group = main_activity)) + \n",
    "  geom_bar()  + \n",
    "  guides(fill = FALSE) +\n",
    "  scale_y_continuous(expand=expansion(mult=c(0,0.1))) +\n",
    "  labs(\n",
    "    x = \"Activity\",\n",
    "    y = \"Count\",\n",
    "    title = \"Main activities in Google Location history\",\n",
    "    caption = \"Associated activity for recorded positions. \n",
    "    Because Google records activity probabilities for each position, \n",
    "    only the activity with the highest likelihood was chosen for each position.\"\n",
    "  )"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Geschwindigkeit"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Für einige der Datenpunkte ist auch die gemessene/geschätzte Geschwindigkeit in den Daten enthalten. Diese ist in Metern pro Sekunde angegeben. Wenn wir uns die durschnittliche und maximale Geschwindigkeit in km/h ausgeben lassen wollen, müssen wir die Variable erst entsprechend transformieren."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "locations <- locations %>% \n",
    "  mutate(kmh = (velocity*60*60)/1000)\n",
    "\n",
    "mean(locations$kmh, na.rm = T)\n",
    "max(locations$kmh, na.rm = T)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Weitere Visualisierungsoptionen"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Es ist natürlich auch möglich, die eigenen Daten aus dem Google-Standortverlauf auf einer Karte zu visualiseren. Dazu gibt es im Netz zahlreiche Anleitungen (z.B. [diese hier](https://medium.com/@tejasrr19/visualize-your-google-location-history-a2343b14a6fe)). In den meisten Fällen wir dazu das `R`-Paket [`ggmap`](https://cran.r-project.org/web/packages/ggmap/index.html) verwendet. Dieses verwendet die Google Maps API, für deren Nutzung man sich mittlerweile bei Google registrieren muss. Wie dies geht, wird im [GitHub-Repository für das `ggmap`-Paket](https://github.com/dkahle/ggmap) erklärt. Alternativ dazu kann man zur Exploration der eigenen Standortverlaufdaten auf einer Karte auch einfach das [Zeitachse-Tool von Google Maps](https://www.google.com/maps/timeline?pb) verwenden."
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "R",
   "language": "R",
   "name": "ir"
  },
  "language_info": {
   "codemirror_mode": "r",
   "file_extension": ".r",
   "mimetype": "text/x-r-source",
   "name": "R",
   "pygments_lexer": "r",
   "version": "3.6.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}