Duplicate event ids (36C3, GPN22) #63

johnjohndoe · 2020-03-20T11:02:44Z

I noticed that the latest version of the 36c3 everything.schedule.xml contains sessions which have the same <event ... id="886"> assigned.

<event guid="8115abea-d1c8-59a6-8060-8f773de66a5d" id="886">
    <logo>/media/36c3/images/AHFVXQ/B4B4939E-70E5-43BC-A828-0D69997036CB.jpeg</logo>
    <date>2019-12-29T16:00:00+01:00</date>
    <start>16:00</start>
    <duration>01:00</duration>
    <room>Sendetisch</room>
    <slug>AHFVXQ</slug>
    <url>https://fahrplan.das-sendezentrum.de/36c3/talk/AHFVXQ/</url>
    <title>Brainflicks Special: Star Wars</title>
    <subtitle/>
    <track>Sendetisch</track>
    <type>Normale Länge</type>
    <language>de</language>
    <abstract>Die Saga geht zu Ende. Christiane und Julius lassen die letzte Episode 9 und alle vorherigen Revue passieren.</abstract>
    <description>Die Saga geht zu Ende. Christiane und Julius lassen die letzte Episode 9 und alle vorherigen Revue passieren.</description>
    <recording>
        <license/>
        <optout>false</optout>
    </recording>
    <persons>
        <person id="106">Christiane Attig</person>
        <person id="147">Julius</person>
    </persons>
    <links/>
    <attachments/>
    <answers/>
</event>

and

<event guid="4552e4ec-4400-5376-a845-9a60d956887b" id="886">
    <logo/>
    <date>2019-12-29T21:30:00+01:00</date>
    <start>21:30</start>
    <duration>02:00</duration>
    <room>headnut</room>
    <slug>BJYYE7</slug>
    <url>https://talks.komona.org/36c3/talk/BJYYE7/</url>
    <title>Documentary Photography Workshop - Story development</title>
    <subtitle/>
    <track/>
    <type>Workshop</type>
    <language>en</language>
    <abstract>Story development workshop - idea, conceptualisation, planning, shooting, editing</abstract>
    <description>Story development workshop - idea, conceptualisation, planning, shooting, editing</description>
    <recording>
        <license/>
        <optout>false</optout>
    </recording>
    <persons>
        <person id="82">k8</person>
    </persons>
    <links/>
    <attachments/>
    <answers/>
</event>

To my understanding this should not be the case.

Requesting https://talks.komona.org/36c3/schedule/export/schedule.json
  version: 0.32
  contains 91 events, with local ids from 2 to 94
    after adding the offset, ids reach from 802 to 894
  success
Requesting https://fahrplan.das-sendezentrum.de/36c3/schedule/export/schedule.json
  version: 4.5
  contains 55 events, with local ids from 83 to 143
    after adding the offset, ids reach from 883 to 943
  WARNING: schedule "sendezentrum" has ID overlap with previous schedule
  success

Im Nachhinein lässt sich das leider nur noch von Hand korrigieren, ich empfehle jedem sich besser auf die GUIDs zu verlassen. Soll ich in dem Fall manuell die ID erhöhen oder ist das egal?

johnjohndoe · 2020-03-20T23:13:05Z

Kann man den Offset generell größer wählen, so dass es nicht mehr dazu kommt?

Eine Korrektur im Generierungsskript sollte umgesetzt werden, eine Korrektur in den Ausgabedateien wäre nett. Zum Hintergrund: In der Android-App führt die selbe ID zu falsch detektieren Fahrplan-Änderungen, die den Nutzern bei jedem Refresh angezeigt werden.

Die GUID schaue ich mir an. Danke.

johnjohndoe · 2020-05-03T10:48:06Z

zur Kenntnis @ideadapt!

saerdnaer · 2020-09-13T19:54:28Z

@johnjohndoe Soll man das für die Daten vom 36C3 noch korrigieren, würde halt auch wiederum zu fehlerhafen updates führen... Konntest du den schon auf die GUID umstellen?

johnjohndoe · 2020-09-14T18:36:45Z

@saerdnaer Leider hatte ich noch keine Zeit, mich mit einer Umstellung auf GUID zu beschäftigen. Wenn ich richtig verstehe, würde es bei den 36C3-Daten nur noch 1x zu einem fehlerhaften Update kommen, richtig?

saerdnaer · 2020-09-14T20:26:03Z

Wenn ich mir den Aufwand machen würde ja... Also ich könnte halt einmal von Hand ein json bauen das keine Konflikte hat und das dann auch in nen XML umwandeln, oder ich würde die offsets nochmal komplett neu definieren – dann ändern sich aber mehr als nur die von Konflikten betroffenen Events. Fragt sich halt ob sich der Aufwand für ne vergangene Konferenz wirklich lohnt...

johnjohndoe · 2020-09-14T20:37:21Z

Für mich stellt sich maßgeblich die Frage, ob sich der Fehler zukünftig vermeiden lässt, auch ohne dass EventFahrplan zeitnah auf GUIDs umsteigt? Den Aufwand für den 36C3 musst du nicht treiben.

saerdnaer · 2020-09-19T10:31:27Z

Da müssen wir einfach schauen das wir beim nächsten mal beim id-offset Parameter größere Lücken einbauen, so das sich das nicht mehr überschneidet... Besseres Monitoring bzw. Alerting im Fehlerfall wäre sicher auch nicht verkehrt.

schedule/schedule_36C3.py

Lines 39 to 54 in db5fde7

    
           additional_schedule_urls = [ 
        
               { 'name': 'lounges',        'url': 'https://fahrplan.events.ccc.de/congress/2019/Lineup/schedule.json',             'id_offset': None}, 
        
               { 'name': 'chaos-west',     'url': 'https://fahrplan.chaos-west.de/36c3/schedule/export/schedule.json',             'id_offset': 100}, 
        
               { 'name': 'open-infra',     'url': 'https://talks.oio.social/36c3-oio/schedule/export/schedule.json',               'id_offset': 200}, 
        
               { 'name': 'wikipaka',       'url': 'https://cfp.verschwoerhaus.de/36c3/schedule/export/schedule.json',              'id_offset': 500}, 
        
               { 'name': 'chaoszone',      'url': 'https://cfp.chaoszone.cz/36c3/schedule/export/schedule.json',                   'id_offset': 700}, 
        
               { 'name': 'komona',         'url': 'https://talks.komona.org/36c3/schedule/export/schedule.json',                   'id_offset': 800,  
        
                 'options': { 'room-prefix': '1Komona '} 
        
               }, 
        
               { 'name': 'sendezentrum',   'url': 'https://fahrplan.das-sendezentrum.de/36c3/schedule/export/schedule.json',       'id_offset': 800}, 
        
               # generated wiki event id's start from 1000  
        
               { 'name': 'lightning',      'url': 'https://c3lt.de/36c3/schedule/export/schedule.json',                            'id_offset': 3000}, 
        
               { 'name': 'art-play',       'url': 'https://stage.artesmobiles.art/36c3/schedule/export/schedule.json',             'id_offset': 4100}, 
        
               { 'name': 'cdc',            'url': 'https://frab.riat.at/en/36C3/public/schedule.json',                             'id_offset': 4200}, 
        
               # main schedule local ids's start at about 10.000 
        
           ]

johnjohndoe · 2020-09-19T11:07:23Z

z.K. Ich habe mal einen Issue für die Migration angelegt. Siehe EventFahrplan/EventFahrplan#319.

johnjohndoe · 2020-11-03T19:49:52Z

Bei meiner Arbeit/Tests an der Umstellung habe ich gemerkt, dass die guid auch nicht eindeutig vergeben ist. Gibt es da einen Fehler in der Erzeugung der guid? Ich habe im aktuellen 36C3 Fahrplan drei Doppelungen gefunden:

81f5f0c4-3d35-522c-8f1c-c8825b92f00a
bf48fa55-92a1-5481-a14a-f77cc0d4fccb
4f5c1cc5-ad99-52dc-89cd-699eae66bcb8

Dabei handelt es sich um Workshops, die zum gleichen Thema stattfinden - aber zu unterschiedlichen Uhrzeiten. Ich vermute, die Berechnung der guid ist deterministisch und bezieht den Zeitstempel nicht mit ein, aber Felder wie <title>, abstract, ... - hier eine Beispiel-Doppelung:

<event guid="81f5f0c4-3d35-522c-8f1c-c8825b92f00a" id="367">
    <logo/>
    <date>2019-12-27T16:10:00+01:00</date>
    <start>16:10</start>
    <duration>02:00</duration>
    <room>OIO Workshop Dome</room>
    <slug>SRMX8W</slug>
    <url>https://talks.oio.social/36c3-oio/talk/SRMX8W/</url>
    <title>Beginners Workshop: How to Hack your Web Application</title>
    <subtitle/>
    <track>Security</track>
    <type>Workshop 1 hour</type>
    <language>en</language>
    <abstract>Did you ever want to know how hacking works? This beginners workshops gives an introduction into vulnerabilities, application pen testing and the security of web applications. Only if you know how hackers attack your application, you will be able to defend yourself. Nearly all companies use web applications nowadays. Any vulnerability in those applications may be an invitation for hackers to attack it. This workshop will give you insights on those things that you should never neglect when programming your application. From Techie to Techie!

Requirements: programming experience &amp; laptop needed, security knowledge is not necessary</abstract>
    <description>Find the Workshop slides here: https://drive.google.com/file/d/1sfCH6D2ZCzBhbPNx6GWHgBEIFRYEser6/view?usp=sharing</description>
    <recording>
        <license/>
        <optout>false</optout>
    </recording>
    <persons>
        <person id="136">Janosch Maier</person>
    </persons>
    <links/>
    <attachments/>
    <answers/>
</event>

...

<event guid="81f5f0c4-3d35-522c-8f1c-c8825b92f00a" id="367">
    <logo/>
    <date>2019-12-27T17:15:00+01:00</date>
    <start>17:15</start>
    <duration>01:00</duration>
    <room>OIO Workshop Dome</room>
    <slug>SRMX8W</slug>
    <url>https://talks.oio.social/36c3-oio/talk/SRMX8W/</url>
    <title>Beginners Workshop: How to Hack your Web Application</title>
    <subtitle/>
    <track>Security</track>
    <type>Workshop 1 hour</type>
    <language>en</language>
    <abstract>Did you ever want to know how hacking works? This beginners workshops gives an introduction into vulnerabilities, application pen testing and the security of web applications. Only if you know how hackers attack your application, you will be able to defend yourself. Nearly all companies use web applications nowadays. Any vulnerability in those applications may be an invitation for hackers to attack it. This workshop will give you insights on those things that you should never neglect when programming your application. From Techie to Techie!

Requirements: programming experience &amp; laptop needed, security knowledge is not necessary</abstract>
    <description>Find the Workshop slides here: https://drive.google.com/file/d/1sfCH6D2ZCzBhbPNx6GWHgBEIFRYEser6/view?usp=sharing</description>
    <recording>
        <license/>
        <optout>false</optout>
    </recording>
    <persons>
        <person id="136">Janosch Maier</person>
    </persons>
    <links/>
    <attachments/>
    <answers/>
</event>

Ich möchte vorschlagen, dass das Skript, das die guids erzeugt, selbst eine Kontrolle auf Doppelungen vornimmt - bspw. per "Set" Datenstruktur - und entsprechend reagiert. Damit könnte vermieden werden, dass sich Apps oder andere Skripte in der Verarbeitungspipeline mit dem Fehler auseinandersetzen müssen.

!!! ATTENTION !!! This change is NOT compatible to UPDATE exiting apps! + As of this commit the "id" XML attribute is no longer used as the unique token because its value cannot be guaranteed to be unique by the provider of the schedule XML. See voc/schedule#63. + Instead the "guid" XML attribute is used which guarantees unique values. + To keep this migration to a minimum only the value of the Session#sessionId field is changed. The value of the new primary key (auto-incrementing, unique through the "guid" column) is written into the "sessionId" field when a Session is queried from the database. See SessionsDatabaseRepository. + By this the value of the "id" XML attribute becomes unused hence the deprecation of the SESSION_ID database column.

johnjohndoe · 2024-05-31T11:21:45Z

Bei der GPN 2024 existieren erneut doppelte IDs für Events im originalen (nicht aggregierten) Fahrplan. https://cfp.gulas.ch/gpn22/schedule/export/schedule.xml

Es handelt sich dabei um Wiederholungstermine (Workshops). Hier ist bspw. Spliceworkshop - Das Löten der Glasfaser mit der ID 308 drei mal enthalten und auf mehrere Tage verteilt.

johnjohndoe · 2024-05-31T11:29:06Z

Dieser issue sieht verwandt aus: pretalx/pretalx#762

z.K. @rixx

rixx · 2024-05-31T17:00:34Z

Might be fixed by cbf2fe479.

johnjohndoe · 2024-05-31T17:43:15Z

pretalx/pretalx@cbf2fe4

saerdnaer changed the title ~~Duplicate event id~~ Duplicate event ids (36C3) Sep 14, 2020

This was referenced Sep 19, 2020

Migrate from id to guid EventFahrplan/EventFahrplan#319

Open

Duplicate EventFahrplan/EventFahrplan#320

Closed

johnjohndoe changed the title ~~Duplicate event ids (36C3)~~ Duplicate event ids (36C3, GPN22) May 31, 2024

johnjohndoe added the schedule-xml label May 31, 2024

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Duplicate event ids (36C3, GPN22) #63

Duplicate event ids (36C3, GPN22) #63

johnjohndoe commented Mar 20, 2020

saerdnaer commented Mar 20, 2020

johnjohndoe commented Mar 20, 2020 •

edited

johnjohndoe commented May 3, 2020

saerdnaer commented Sep 13, 2020

johnjohndoe commented Sep 14, 2020

saerdnaer commented Sep 14, 2020

johnjohndoe commented Sep 14, 2020 •

edited

saerdnaer commented Sep 19, 2020

johnjohndoe commented Sep 19, 2020

johnjohndoe commented Nov 3, 2020

johnjohndoe commented May 31, 2024

johnjohndoe commented May 31, 2024

rixx commented May 31, 2024

johnjohndoe commented May 31, 2024

Duplicate event ids (36C3, GPN22) #63

Duplicate event ids (36C3, GPN22) #63

Comments

johnjohndoe commented Mar 20, 2020

Related

saerdnaer commented Mar 20, 2020

johnjohndoe commented Mar 20, 2020 • edited

johnjohndoe commented May 3, 2020

saerdnaer commented Sep 13, 2020

johnjohndoe commented Sep 14, 2020

saerdnaer commented Sep 14, 2020

johnjohndoe commented Sep 14, 2020 • edited

saerdnaer commented Sep 19, 2020

johnjohndoe commented Sep 19, 2020

johnjohndoe commented Nov 3, 2020

johnjohndoe commented May 31, 2024

johnjohndoe commented May 31, 2024

rixx commented May 31, 2024

johnjohndoe commented May 31, 2024

johnjohndoe commented Mar 20, 2020 •

edited

johnjohndoe commented Sep 14, 2020 •

edited