Skip to content

hhba/fifa

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

3 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

fifa

scrapper para fifa.com


Primero, bajar todos los HTMLs

$ sh download.sh                                                                                                     
--2014-06-05 23:17:07--  http://es.fifa.com/tournaments/archive/worldcup/southafrica2010/matches/index.html
Resolving es.fifa.com (es.fifa.com)... 190.98.167.168, 190.98.167.187
Connecting to es.fifa.com (es.fifa.com)|190.98.167.168|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: ‘es.fifa.com/tournaments/archive/worldcup/southafrica2010/matches/index.html’

    [ <=>                                                                                                          ] 114,760     --.-K/s   in 0.1s    

2014-06-05 23:17:08 (758 KB/s) - ‘es.fifa.com/tournaments/archive/worldcup/southafrica2010/matches/index.html’ saved [114760]

Loading robots.txt; please ignore errors.
--2014-06-05 23:17:08--  http://es.fifa.com/robots.txt
Reusing existing connection to es.fifa.com:80.
HTTP request sent, awaiting response... 200 OK
Length: 84 [text/plain]
Saving to: ‘es.fifa.com/robots.txt’

[....]

Esto va a crear un árbol de directorios así

$ find es.fifa.com                                                                                                   
es.fifa.com
es.fifa.com/tournaments
es.fifa.com/tournaments/archive
es.fifa.com/tournaments/archive/worldcup
es.fifa.com/tournaments/archive/worldcup/southafrica2010
es.fifa.com/tournaments/archive/worldcup/southafrica2010/matches
es.fifa.com/tournaments/archive/worldcup/southafrica2010/matches/round=249722
es.fifa.com/tournaments/archive/worldcup/southafrica2010/matches/round=249722/match=300061454
es.fifa.com/tournaments/archive/worldcup/southafrica2010/matches/round=249722/match=300061454/index.html
es.fifa.com/tournaments/archive/worldcup/southafrica2010/matches/round=249722/match=300061453
es.fifa.com/tournaments/archive/worldcup/southafrica2010/matches/round=249722/match=300061453/index.html
es.fifa.com/tournaments/archive/worldcup/southafrica2010/matches/round=249722/match=300061452
es.fifa.com/tournaments/archive/worldcup/southafrica2010/matches/round=249722/match=300061452/index.html
es.fifa.com/tournaments/archive/worldcup/southafrica2010/matches/index.html

Para chequear:

$ find es.fifa.com | wc -l                                                                                           
1701

Después, correr el parser, sobre los archivos bajados:

$ ruby parse.rb                                                                                                      
mundial,fecha,equipo1,equipo2,equipo_gol,jugador_gol,jugador_minuto,fuente
Copa Mundial de la FIFA 2010,2010/06/22,Francia,Sudáfrica,Francia,Florent MALOUDA,70,http://es.fifa.com/tournaments/archive/worldcup/southafrica2010/matches/round=249722/match=300061449/index.html
Copa Mundial de la FIFA 2010,2010/06/22,Francia,Sudáfrica,Sudáfrica,Bongani KHUMALO,20,http://es.fifa.com/tournaments/archive/worldcup/southafrica2010/matches/round=249722/match=300061449/index.html
Copa Mundial de la FIFA 2010,2010/06/22,Francia,Sudáfrica,Sudáfrica,Katlego MPHELA,37,http://es.fifa.com/tournaments/archive/worldcup/southafrica2010/matches/round=249722/match=300061449/index.html
Copa Mundial de la FIFA 2010,2010/06/14,Japón,Camerún,Japón,Keisuke HONDA,39,http://es.fifa.com/tournaments/archive/worldcup/southafrica2010/matches/round=249722/match=300061477/index.html
Copa Mundial de la FIFA 2010,2010/06/17,Francia,México,México,Javier HERNANDEZ,64,http://es.fifa.com/tournaments/archive/worldcup/southafrica2010/matches/round=249722/match=300061451/index.html
Copa Mundial de la FIFA 2010,2010/06/17,Francia,México,México,Cuauhtemoc BLANCO,79,http://es.fifa.com/tournaments/archive/worldcup/southafrica2010/matches/round=249722/match=300061451/index.html
Copa Mundial de la FIFA 2010,2010/06/17,Francia,México,México,Cuauhtemoc BLANCO,GP,http://es.fifa.com/tournaments/archive/worldcup/southafrica2010/matches/round=249722/match=300061451/index.html
Copa Mundial de la FIFA 2010,2010/06/18,Alemania,Serbia,Serbia,Milan JOVANOVIC,38,http://es.fifa.com/tournaments/archive/worldcup/southafrica2010/matches/round=249722/match=300061470/index.html
Copa Mundial de la FIFA 2010,2010/06/14,Países Bajos,Dinamarca,Países Bajos,Daniel AGGER,46,http://es.fifa.com/tournaments/archive/worldcup/southafrica2010/matches/round=249722/match=300061478/index.html
Copa Mundial de la FIFA 2010,2010/06/14,Países Bajos,Dinamarca,Países Bajos,Daniel AGGER,GPM,http://es.fifa.com/tournaments/archive/worldcup/southafrica2010/matches/round=249722/match=300061478/index.html
Copa Mundial de la FIFA 2010,2010/06/14,Países Bajos,Dinamarca,Países Bajos,Dirk KUYT,85,http://es.fifa.com/tournaments/archive/worldcup/southafrica2010/matches/round=249722/match=300061478/index.html
Copa Mundial de la FIFA 2010,2010/06/13,Serbia,Ghana,Ghana,Asamoah GYAN,85,http://es.fifa.com/tournaments/archive/worldcup/southafrica2010/matches/round=249722/match=300061471/index.html
Copa Mundial de la FIFA 2010,2010/06/13,Serbia,Ghana,Ghana,Asamoah GYAN,GP,http://es.fifa.com/tournaments/archive/worldcup/southafrica2010/matches/round=249722/match=300061471/index.html
Copa Mundial de la FIFA 2010,2010/06/19,Camerún,Dinamarca,Camerún,Samuel ETOO,10,http://es.fifa.com/tournaments/archive/worldcup/southafrica2010/matches/round=249722/match=300061475/index.html
Copa Mundial de la FIFA 2010,2010/06/19,Camerún,Dinamarca,Dinamarca,Nicklas BENDTNER,33,http://es.fifa.com/tournaments/archive/worldcup/southafrica2010/matches/round=249722/match=300061475/index.html

Si lo tiro a un archivo, me da así:

$ wc -l /tmp/goles.csv                                                                                               
2220 /tmp/goles.csv

Acá hay un Google Fusion Table con el resultado

Releases

No releases published

Packages

No packages published