Manejo de Bases de Datos

Marco de datos

Para trabajar con bases de datos en R se pueden construir o cargar al software. En cualquier caso, la idea es tener un objeto data.frame que el tipo que identifica las bases de datos.

Construcción

Para construir una base de datos, se debe definir las variables que representan las columnas, y el contenido de cada variable son la representación en cada fila, es importante que todas las variables tengan el mismo tamaño para construir una base de datos consistente.

years <- 1980:2019
nombre <- sample(c("Luisa","Andrés","Camilo","Natalia"),
                 size = 40,replace = T)
peso <- round(rnorm(40,60,5),2)
estatura <- ifelse(nombre=="Luisa",1.56,
                   ifelse(nombre=="Andrés",1.78,
                          ifelse(nombre=="Camilo",1.70,1.68)))
imc <- round(peso/estatura^2,2)

Cada variable está asignada de manera independiente, aún no es una base de datos. Para que cumpla con la condición de base de datos es necesario que cada fila de cada variable represente una medición, es decir, si la primera posición del nombre es Camilo entonces las primera posición de las variables year, peso, estatura y imc deben corresponder a Camilo.

Para construir la base de datos, se usa el comando data.frame.

args(data.frame)

## function (..., row.names = NULL, check.rows = FALSE, check.names = TRUE, 
##     fix.empty.names = TRUE, stringsAsFactors = default.stringsAsFactors()) 
## NULL

(datos <- data.frame(years, nombre, peso, estatura, imc))

str(datos)

## 'data.frame':    40 obs. of  5 variables:
##  $ years   : int  1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 ...
##  $ nombre  : Factor w/ 4 levels "Andrés","Camilo",..: 4 1 1 4 4 4 3 1 3 4 ...
##  $ peso    : num  55.8 67.9 65.3 61.5 60.6 ...
##  $ estatura: num  1.68 1.78 1.78 1.68 1.68 1.68 1.56 1.78 1.56 1.68 ...
##  $ imc     : num  19.8 21.4 20.6 21.8 21.5 ...

Con la base de datos creada se puede manipular más fácil, para ingresar a las filas y columnas se trabaja similar a las matrices.

datos[,1]

##  [1] 1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993
## [15] 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007
## [29] 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019

datos[,"nombre"]

##  [1] Natalia Andrés  Andrés  Natalia Natalia Natalia Luisa   Andrés 
##  [9] Luisa   Natalia Natalia Camilo  Camilo  Camilo  Andrés  Luisa  
## [17] Andrés  Natalia Andrés  Camilo  Camilo  Natalia Luisa   Camilo 
## [25] Luisa   Natalia Luisa   Luisa   Natalia Camilo  Luisa   Andrés 
## [33] Camilo  Natalia Luisa   Camilo  Camilo  Camilo  Luisa   Natalia
## Levels: Andrés Camilo Luisa Natalia

datos[8:24,]

datos[,c(1,3,5)]

datos[,c("years","imc")]

cargar base de datos

R maneja casi cualquier tipo de archivo de bases de datos, pero su formato de creación de base de datos es .Rds o .RData, en el paquete base y utilsexiste una colección de funciones para leer marcos de datos.

## [1] "read.dcf"     "readBin"      "readChar"     "readline"    
## [5] "readLines"    "readRDS"      "readRenviron" "Sys.readlink"

##  [1] "read.csv"         "read.csv2"        "read.delim"      
##  [4] "read.delim2"      "read.DIF"         "read.fortran"    
##  [7] "read.fwf"         "read.socket"      "read.table"      
## [10] "readCitationFile" "readClipboard"    "readRegistry"

Para cargar otras extensiones de bases de datos es necesario utilizar paquetes.

# Para otros Software de estadística (Minitab, SAS, Stata, SPSS)
install.packages("haven",dependencies = T)
install.packages("foreign",dependencies = T)

# Archivos de excel
install.packages("xlsx",dependencies = T) # Requiere Java
install.packages("readxl",dependencies = T)
install.packages("openxlsx",dependencies = T)

# SQL
install.packages("sqldf",dependencies = T)

Para trabajar con SQL en R se recomienda leer el artículo de Josh Errickson y las notas de Data Carpentry.

La base de datos de el ICFES 2015-02 está disponible en Excel, todos los ejemplos que acontinuación se muestran se trabajan con esta base de datos.

library(xlsx)
library(readxl)
library(openxlsx)

Icfes <- read.csv("ICFES20152.csv",sep = ",")

Si el archivo tiene la extensión .xlsx se utiliza los siguientes comandos:

# Con xlsx
Icfes <- read.xlsx(file = "ICFES20152.xlsx",sheetName = 1,encoding = "UTF-8")
Icfes <- read.xlsx2(file = "ICFES20152.xls",sheetIndex = 1)

# Con readxl
Icfes <- read_xlsx(path = "ICFES20152.xlsx")

# Con openxlsx
Icfes <- read.xlsx(file = "ICFES20152.xlsx",sheet = 1)

Para cargar los archivos de esta manera es necesario que se encuentren alojados en la carpeta de trabajo que puede verificar con el comand getwd(), y para asignar una nuava ruta se utiliza el comando setwd(). Una función muy útil para buscar carpetas es choose.dir(), y para seleccionar una archivo específico file.choose().

# CSV
Icfes <- read.csv(file.choose(),sep = ",")

# Con xlsx
Icfes <- read.xlsx(file = file.choose(),sheetName = 1,encoding = "UTF-8")
Icfes <- read.xlsx2(file = file.choose(),sheetIndex = 1)

# Con readxl
Icfes <- read_xlsx(path = file.choose())

# Con openxlsx
Icfes <- read.xlsx(file = file.choose(),sheet = 1)

Icfes

dim(Icfes)

## [1] 12162    24

length(Icfes)

## [1] 24

names(Icfes)

##  [1] "CODINST"                  "NOMBREINSTITUCION"       
##  [3] "CODIGOMUNICIPIO"          "NOMBREMUNICIPIO"         
##  [5] "DEPARTAMENTO"             "CALENDARIO"              
##  [7] "NATURALEZA"               "JORNADA"                 
##  [9] "EVALUADOS"                "PROMLECTURACRITICA"      
## [11] "PROMMATEMATICA"           "PROMSOCIALESYCIUDADANAS" 
## [13] "PROMCIENCIASNATURALES"    "PROMINGLES"              
## [15] "PROMRAZONAMIENTOCUANTITA" "PROMCOMPETENCIASCIUDADAN"
## [17] "DESVLECTURACRITICA"       "DESVMATEMATICA"          
## [19] "DESVSOCIALESYCIUDADANAS"  "DESVCIENCIASNATURALES"   
## [21] "DESVINGLES"               "DESVRAZONAMIENTOCUANTITA"
## [23] "DESVCOMPETENCIASCIUDADAN" "PERIODO"

head(Icfes,n = 3)

tail(Icfes,n = 3)

str(Icfes)

## tibble [12,162 x 24] (S3: tbl_df/tbl/data.frame)
##  $ CODINST                 : chr [1:12162] "142133" "087445" "117127" "019109" ...
##  $ NOMBREINSTITUCION       : chr [1:12162] "I.E. INTERNADO SAN RAFAEL DEL CARAPARANA - SEDE PRINCIPAL" "I.E. COLEGIO INDIGENA CASA DEL CONOCIMIENTO - SEDE PRINCIPAL" "I.E. INTERNADO INDIGENA SAN JOSÉ - SEDE PRINCIPAL" "I.E. ESCUELA NORMAL SUPERIOR MARCELIANO EDUARDO CANYES SANTACANA - SEDE PRINCIPAL" ...
##  $ CODIGOMUNICIPIO         : chr [1:12162] "91263" "91405" "91407" "91001" ...
##  $ NOMBREMUNICIPIO         : chr [1:12162] "EL ENCANTO" "LA CHORRERA" "LA PEDRERA" "LETICIA" ...
##  $ DEPARTAMENTO            : chr [1:12162] "AMAZONAS" "AMAZONAS" "AMAZONAS" "AMAZONAS" ...
##  $ CALENDARIO              : chr [1:12162] "A" "A" "A" "A" ...
##  $ NATURALEZA              : chr [1:12162] "OFICIAL" "OFICIAL" "OFICIAL" "OFICIAL" ...
##  $ JORNADA                 : chr [1:12162] "MAÑANA" "MAÑANA" "COMPLETA U ORDINARIA" "MAÑANA" ...
##  $ EVALUADOS               : num [1:12162] 21 38 31 89 134 75 14 18 45 61 ...
##  $ PROMLECTURACRITICA      : num [1:12162] 42.5 40.1 39.9 49.9 45.9 ...
##  $ PROMMATEMATICA          : num [1:12162] 42 40.2 39.5 47.6 44 ...
##  $ PROMSOCIALESYCIUDADANAS : num [1:12162] 43.7 41.3 38.8 50.3 47 ...
##  $ PROMCIENCIASNATURALES   : num [1:12162] 44.2 41.8 42.7 49.5 46.5 ...
##  $ PROMINGLES              : num [1:12162] 46 43.6 43.8 47.8 46.6 ...
##  $ PROMRAZONAMIENTOCUANTITA: num [1:12162] 41.8 40.3 39.7 48 45 ...
##  $ PROMCOMPETENCIASCIUDADAN: num [1:12162] 42 39 37.7 49.4 46.4 ...
##  $ DESVLECTURACRITICA      : num [1:12162] 5.78 6.01 5.98 7.94 7.88 6.22 6.28 9.65 6.6 8.02 ...
##  $ DESVMATEMATICA          : num [1:12162] 7.37 7.43 9.04 9.5 8.41 ...
##  $ DESVSOCIALESYCIUDADANAS : num [1:12162] 7.52 7.72 8.56 9.38 8.22 ...
##  $ DESVCIENCIASNATURALES   : num [1:12162] 5.94 5.23 5.32 6.81 6.44 ...
##  $ DESVINGLES              : num [1:12162] 6.72 4.48 5.42 7.49 6.13 ...
##  $ DESVRAZONAMIENTOCUANTITA: num [1:12162] 8.23 7.57 9.3 10.42 8.9 ...
##  $ DESVCOMPETENCIASCIUDADAN: num [1:12162] 7.1 7.27 6.77 8.95 8.24 ...
##  $ PERIODO                 : chr [1:12162] "20152" "20152" "20152" "20152" ...

class(Icfes)

## [1] "tbl_df"     "tbl"        "data.frame"

class(Icfes$NOMBREMUNICIPIO)

## [1] "character"

summary(Icfes)

##    CODINST          NOMBREINSTITUCION  CODIGOMUNICIPIO    NOMBREMUNICIPIO   
##  Length:12162       Length:12162       Length:12162       Length:12162      
##  Class :character   Class :character   Class :character   Class :character  
##  Mode  :character   Mode  :character   Mode  :character   Mode  :character  
##                                                                             
##                                                                             
##                                                                             
##  DEPARTAMENTO        CALENDARIO         NATURALEZA          JORNADA         
##  Length:12162       Length:12162       Length:12162       Length:12162      
##  Class :character   Class :character   Class :character   Class :character  
##  Mode  :character   Mode  :character   Mode  :character   Mode  :character  
##                                                                             
##                                                                             
##                                                                             
##    EVALUADOS      PROMLECTURACRITICA PROMMATEMATICA   PROMSOCIALESYCIUDADANAS
##  Min.   :  1.00   Min.   :28.00      Min.   : 24.50   Min.   :21.00          
##  1st Qu.: 17.00   1st Qu.:44.74      1st Qu.: 43.57   1st Qu.:43.98          
##  Median : 32.00   Median :48.19      Median : 48.00   Median :48.32          
##  Mean   : 44.95   Mean   :48.66      Mean   : 48.80   Mean   :48.64          
##  3rd Qu.: 60.00   3rd Qu.:51.77      3rd Qu.: 52.63   3rd Qu.:52.59          
##  Max.   :987.00   Max.   :77.00      Max.   :100.00   Max.   :83.00          
##  PROMCIENCIASNATURALES   PROMINGLES    PROMRAZONAMIENTOCUANTITA
##  Min.   :25.00         Min.   :25.00   Min.   : 21.50          
##  1st Qu.:44.59         1st Qu.:45.27   1st Qu.: 44.05          
##  Median :48.47         Median :47.51   Median : 48.94          
##  Mean   :49.03         Mean   :49.63   Mean   : 49.67          
##  3rd Qu.:52.45         3rd Qu.:51.27   3rd Qu.: 53.95          
##  Max.   :85.95         Max.   :97.00   Max.   :100.00          
##  PROMCOMPETENCIASCIUDADAN DESVLECTURACRITICA DESVMATEMATICA  
##  Min.   :22.00            Min.   : 0.000     Min.   : 0.000  
##  1st Qu.:44.22            1st Qu.: 6.540     1st Qu.: 7.880  
##  Median :48.13            Median : 7.470     Median : 9.020  
##  Mean   :48.27            Mean   : 7.406     Mean   : 9.056  
##  3rd Qu.:51.92            3rd Qu.: 8.320     3rd Qu.:10.260  
##  Max.   :76.00            Max.   :21.920     Max.   :31.820  
##  DESVSOCIALESYCIUDADANAS DESVCIENCIASNATURALES   DESVINGLES    
##  Min.   : 0.000          Min.   : 0.000        Min.   : 0.000  
##  1st Qu.: 8.140          1st Qu.: 6.560        1st Qu.: 5.620  
##  Median : 9.060          Median : 7.580        Median : 6.840  
##  Mean   : 8.984          Mean   : 7.541        Mean   : 7.501  
##  3rd Qu.: 9.970          3rd Qu.: 8.550        3rd Qu.: 8.940  
##  Max.   :28.000          Max.   :20.510        Max.   :27.790  
##  DESVRAZONAMIENTOCUANTITA DESVCOMPETENCIASCIUDADAN   PERIODO         
##  Min.   : 0.00            Min.   : 0.000           Length:12162      
##  1st Qu.: 8.94            1st Qu.: 7.400           Class :character  
##  Median :10.30            Median : 8.240           Mode  :character  
##  Mean   :10.33            Mean   : 8.172                             
##  3rd Qu.:11.76            3rd Qu.: 9.080                             
##  Max.   :32.19            Max.   :23.330

El operador $ sirve para extraer las variables del data.frame, siepre y cuando la base de datos posea nombres.

Guardar bases de datos

## [1] "write"      "write.dcf"  "writeBin"   "writeChar"  "writeLines"

## [1] "aspell_write_personal_dictionary_file"
## [2] "write.csv"                            
## [3] "write.csv2"                           
## [4] "write.socket"                         
## [5] "write.table"                          
## [6] "writeClipboard"

## [1] "write.xlsx"  "write.xlsx2"

## [1] "write_dta" "write_sas" "write_sav" "write_xpt"

## [1] "write.arff"    "write.dbf"     "write.dta"     "write.foreign"

Funciones del tipo `apply`

apply() Aplica la función sobre un la marginal de un arreglo o matriz.

(m <- matrix(c(1:10, 11:20), nrow = 10, ncol = 2))

##       [,1] [,2]
##  [1,]    1   11
##  [2,]    2   12
##  [3,]    3   13
##  [4,]    4   14
##  [5,]    5   15
##  [6,]    6   16
##  [7,]    7   17
##  [8,]    8   18
##  [9,]    9   19
## [10,]   10   20

apply(m, 1, mean)

##  [1]  6  7  8  9 10 11 12 13 14 15

apply(m, 2, mean)

## [1]  5.5 15.5

apply(m, 1:2, function(x) x/2)

##       [,1] [,2]
##  [1,]  0.5  5.5
##  [2,]  1.0  6.0
##  [3,]  1.5  6.5
##  [4,]  2.0  7.0
##  [5,]  2.5  7.5
##  [6,]  3.0  8.0
##  [7,]  3.5  8.5
##  [8,]  4.0  9.0
##  [9,]  4.5  9.5
## [10,]  5.0 10.0

apply(Icfes, 2, length)

##                  CODINST        NOMBREINSTITUCION          CODIGOMUNICIPIO 
##                    12162                    12162                    12162 
##          NOMBREMUNICIPIO             DEPARTAMENTO               CALENDARIO 
##                    12162                    12162                    12162 
##               NATURALEZA                  JORNADA                EVALUADOS 
##                    12162                    12162                    12162 
##       PROMLECTURACRITICA           PROMMATEMATICA  PROMSOCIALESYCIUDADANAS 
##                    12162                    12162                    12162 
##    PROMCIENCIASNATURALES               PROMINGLES PROMRAZONAMIENTOCUANTITA 
##                    12162                    12162                    12162 
## PROMCOMPETENCIASCIUDADAN       DESVLECTURACRITICA           DESVMATEMATICA 
##                    12162                    12162                    12162 
##  DESVSOCIALESYCIUDADANAS    DESVCIENCIASNATURALES               DESVINGLES 
##                    12162                    12162                    12162 
## DESVRAZONAMIENTOCUANTITA DESVCOMPETENCIASCIUDADAN                  PERIODO 
##                    12162                    12162                    12162

apply(Icfes[,9:18], 2, mean)

##                EVALUADOS       PROMLECTURACRITICA           PROMMATEMATICA 
##                44.947788                48.655567                48.799209 
##  PROMSOCIALESYCIUDADANAS    PROMCIENCIASNATURALES               PROMINGLES 
##                48.636474                49.025593                49.633360 
## PROMRAZONAMIENTOCUANTITA PROMCOMPETENCIASCIUDADAN       DESVLECTURACRITICA 
##                49.672010                48.267984                 7.406274 
##           DESVMATEMATICA 
##                 9.055529

apply(Icfes[,9:18], 2, sd)

##                EVALUADOS       PROMLECTURACRITICA           PROMMATEMATICA 
##                43.843946                 5.573827                 7.580989 
##  PROMSOCIALESYCIUDADANAS    PROMCIENCIASNATURALES               PROMINGLES 
##                 6.649614                 6.260166                 7.269747 
## PROMRAZONAMIENTOCUANTITA PROMCOMPETENCIASCIUDADAN       DESVLECTURACRITICA 
##                 8.120015                 5.730609                 1.731647 
##           DESVMATEMATICA 
##                 2.219776

by() Aplica la función sobre una división de una base de datos (data.frame) por un factor.

by(Icfes[,c(9:18)], Icfes$CALENDARIO, colMeans)

## Icfes$CALENDARIO: A
##                EVALUADOS       PROMLECTURACRITICA           PROMMATEMATICA 
##                45.393267                48.601547                48.741677 
##  PROMSOCIALESYCIUDADANAS    PROMCIENCIASNATURALES               PROMINGLES 
##                48.589383                48.972063                49.514758 
## PROMRAZONAMIENTOCUANTITA PROMCOMPETENCIASCIUDADAN       DESVLECTURACRITICA 
##                49.612257                48.229033                 7.436473 
##           DESVMATEMATICA 
##                 9.091584 
## ------------------------------------------------------------ 
## Icfes$CALENDARIO: B
##                EVALUADOS       PROMLECTURACRITICA           PROMMATEMATICA 
##                16.685864                52.229529                52.711885 
##  PROMSOCIALESYCIUDADANAS    PROMCIENCIASNATURALES               PROMINGLES 
##                51.758220                52.761885                56.728743 
## PROMRAZONAMIENTOCUANTITA PROMCOMPETENCIASCIUDADAN       DESVLECTURACRITICA 
##                53.712199                50.859634                 5.469215 
##           DESVMATEMATICA 
##                 6.880628 
## ------------------------------------------------------------ 
## Icfes$CALENDARIO: O
##                EVALUADOS       PROMLECTURACRITICA           PROMMATEMATICA 
##                47.566667                47.403333                46.788333 
##  PROMSOCIALESYCIUDADANAS    PROMCIENCIASNATURALES               PROMINGLES 
##                47.505333                46.544667                51.666667 
## PROMRAZONAMIENTOCUANTITA PROMCOMPETENCIASCIUDADAN       DESVLECTURACRITICA 
##                47.733333                47.271667                 7.718667 
##           DESVMATEMATICA 
##                 8.551333

lapply() Aplica una función sobre una lista o un vector.

l <- list(a = 1:10, b = 11:20)
lapply(l, mean)

## $a
## [1] 5.5
## 
## $b
## [1] 15.5

lapply(l, sum)

## $a
## [1] 55
## 
## $b
## [1] 155

lapply(Icfes,summary)

## $CODINST
##    Length     Class      Mode 
##     12162 character character 
## 
## $NOMBREINSTITUCION
##    Length     Class      Mode 
##     12162 character character 
## 
## $CODIGOMUNICIPIO
##    Length     Class      Mode 
##     12162 character character 
## 
## $NOMBREMUNICIPIO
##    Length     Class      Mode 
##     12162 character character 
## 
## $DEPARTAMENTO
##    Length     Class      Mode 
##     12162 character character 
## 
## $CALENDARIO
##    Length     Class      Mode 
##     12162 character character 
## 
## $NATURALEZA
##    Length     Class      Mode 
##     12162 character character 
## 
## $JORNADA
##    Length     Class      Mode 
##     12162 character character 
## 
## $EVALUADOS
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##    1.00   17.00   32.00   44.95   60.00  987.00 
## 
## $PROMLECTURACRITICA
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##   28.00   44.74   48.19   48.66   51.77   77.00 
## 
## $PROMMATEMATICA
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##   24.50   43.57   48.00   48.80   52.63  100.00 
## 
## $PROMSOCIALESYCIUDADANAS
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##   21.00   43.98   48.32   48.64   52.59   83.00 
## 
## $PROMCIENCIASNATURALES
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##   25.00   44.59   48.47   49.03   52.45   85.95 
## 
## $PROMINGLES
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##   25.00   45.27   47.51   49.63   51.27   97.00 
## 
## $PROMRAZONAMIENTOCUANTITA
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##   21.50   44.05   48.94   49.67   53.95  100.00 
## 
## $PROMCOMPETENCIASCIUDADAN
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##   22.00   44.22   48.13   48.27   51.92   76.00 
## 
## $DESVLECTURACRITICA
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##   0.000   6.540   7.470   7.406   8.320  21.920 
## 
## $DESVMATEMATICA
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##   0.000   7.880   9.020   9.056  10.260  31.820 
## 
## $DESVSOCIALESYCIUDADANAS
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##   0.000   8.140   9.060   8.984   9.970  28.000 
## 
## $DESVCIENCIASNATURALES
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##   0.000   6.560   7.580   7.541   8.550  20.510 
## 
## $DESVINGLES
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##   0.000   5.620   6.840   7.501   8.940  27.790 
## 
## $DESVRAZONAMIENTOCUANTITA
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##    0.00    8.94   10.30   10.33   11.76   32.19 
## 
## $DESVCOMPETENCIASCIUDADAN
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##   0.000   7.400   8.240   8.172   9.080  23.330 
## 
## $PERIODO
##    Length     Class      Mode 
##     12162 character character

sapply() Aplica una función sobre una lista o un vector y si el resultado se puede simplificar en un formato más simple, lo hace.

l <- list(a = 1:10, b = 11:20)
sapply(l, mean)

##    a    b 
##  5.5 15.5

sapply(l, sum)

##   a   b 
##  55 155

sapply(Icfes,mean)

##                  CODINST        NOMBREINSTITUCION          CODIGOMUNICIPIO 
##                       NA                       NA                       NA 
##          NOMBREMUNICIPIO             DEPARTAMENTO               CALENDARIO 
##                       NA                       NA                       NA 
##               NATURALEZA                  JORNADA                EVALUADOS 
##                       NA                       NA                44.947788 
##       PROMLECTURACRITICA           PROMMATEMATICA  PROMSOCIALESYCIUDADANAS 
##                48.655567                48.799209                48.636474 
##    PROMCIENCIASNATURALES               PROMINGLES PROMRAZONAMIENTOCUANTITA 
##                49.025593                49.633360                49.672010 
## PROMCOMPETENCIASCIUDADAN       DESVLECTURACRITICA           DESVMATEMATICA 
##                48.267984                 7.406274                 9.055529 
##  DESVSOCIALESYCIUDADANAS    DESVCIENCIASNATURALES               DESVINGLES 
##                 8.984044                 7.540577                 7.500546 
## DESVRAZONAMIENTOCUANTITA DESVCOMPETENCIASCIUDADAN                  PERIODO 
##                10.327338                 8.171681                       NA

vapply() Aplica la función sobre una lista y devuelve el resultado de acuerdo a un formato indicado.

l <- list(a = 1:10, b = 11:20)
lFivenum <- vapply(l, 
                   fivenum, 
                   c(Min. = 0, "1er Cuart." = 0, 
                     Mediana = 0, "3er Cuart." = 0, Max. = 0))
class(lFivenum)

## [1] "matrix"

lFivenum

##               a    b
## Min.        1.0 11.0
## 1er Cuart.  3.0 13.0
## Mediana     5.5 15.5
## 3er Cuart.  8.0 18.0
## Max.       10.0 20.0

QuantIcfes <- vapply(Icfes[,9:23],
                     quantile,
                     c(Min. = 0, "1er Cuart." = 0,
                       Mediana = 0, "3er Cuart." = 0, Max. = 0))
t(QuantIcfes)

##                          Min. 1er Cuart. Mediana 3er Cuart.   Max.
## EVALUADOS                 1.0      17.00  32.000    60.0000 987.00
## PROMLECTURACRITICA       28.0      44.74  48.190    51.7675  77.00
## PROMMATEMATICA           24.5      43.57  48.000    52.6300 100.00
## PROMSOCIALESYCIUDADANAS  21.0      43.98  48.320    52.5900  83.00
## PROMCIENCIASNATURALES    25.0      44.59  48.470    52.4500  85.95
## PROMINGLES               25.0      45.27  47.505    51.2700  97.00
## PROMRAZONAMIENTOCUANTITA 21.5      44.05  48.935    53.9500 100.00
## PROMCOMPETENCIASCIUDADAN 22.0      44.22  48.130    51.9175  76.00
## DESVLECTURACRITICA        0.0       6.54   7.470     8.3200  21.92
## DESVMATEMATICA            0.0       7.88   9.020    10.2600  31.82
## DESVSOCIALESYCIUDADANAS   0.0       8.14   9.060     9.9700  28.00
## DESVCIENCIASNATURALES     0.0       6.56   7.580     8.5500  20.51
## DESVINGLES                0.0       5.62   6.840     8.9400  27.79
## DESVRAZONAMIENTOCUANTITA  0.0       8.94  10.300    11.7600  32.19
## DESVCOMPETENCIASCIUDADAN  0.0       7.40   8.240     9.0800  23.33

replicate() Replica la ejecución de una función un número específico de veces.s

replicate(10, rnorm(10))

##               [,1]        [,2]       [,3]        [,4]        [,5]        [,6]
##  [1,] -0.679106073 -0.63429793 -0.5161285  0.06359758 -0.60048576  0.66779279
##  [2,] -1.033342402  0.02816016 -0.6282392  0.52269093  0.20410456 -0.24173249
##  [3,]  0.580961818  0.89425304 -2.4379253  0.94517057 -0.48596132 -1.17351775
##  [4,] -0.423530606 -1.18488958  0.6767451  0.01624365  0.74774152 -0.77656468
##  [5,]  1.397235558  1.36035967 -0.1857102  0.06532149  1.99814492 -0.56456147
##  [6,] -0.841613930  0.96410939  0.9254311 -2.01482281  0.48715939 -0.03968651
##  [7,]  0.002106105 -0.08440302 -0.6811199 -1.05777057  0.08886149 -0.03521451
##  [8,] -0.465003842 -1.83935984 -1.1193892 -0.05949757  0.53616916  0.74136704
##  [9,]  0.091599957 -2.00911618  0.3329044  1.49262682 -1.39500117 -0.89256565
## [10,]  0.347899629 -0.14968934 -1.7175699 -1.28581609  0.46920020 -0.06146452
##             [,7]        [,8]        [,9]        [,10]
##  [1,]  0.7538183 -0.09426471 -0.05742922  1.088817383
##  [2,]  1.3284700 -0.58959973  0.73152719  0.028274606
##  [3,] -0.4225913  2.07169630  1.22337059  0.108823625
##  [4,] -1.0189862 -0.77008606 -1.30944055 -1.160872035
##  [5,]  0.6359936 -0.18071370 -1.89966684 -0.929357250
##  [6,] -0.2488187 -0.23587539 -1.35946716 -0.009182788
##  [7,]  0.8948709 -0.79876947 -0.75336301 -0.345620365
##  [8,] -0.8162387  0.70327625  0.06116031 -1.908934284
##  [9,] -1.4566021  0.01344354  0.27754651  0.197296958
## [10,]  0.8002173 -0.23024736  1.00492411 -0.675188961

replicate(8, mean(rexp(10)))

## [1] 1.4652841 1.7647448 0.2855864 0.7224558 0.9958164 0.7279284 0.9260494
## [8] 0.7483037

mapply() Es la versión multivariada de lapply y sapply. Aplica la función a los elementos correspondientes de múltiples listas.

l1 <- list(a = c(1:10), b = c(11:20))
l2 <- list(c = c(21:30), d = c(31:40))
mapply(sum, l1$a, l1$b, l2$c, l2$d)

##  [1]  64  68  72  76  80  84  88  92  96 100

mapply(sum, l1, l2)

##   a   b 
## 310 510

l2 <- list(c = c(21:30), d = c(31:40), z = c(31:50))
mapply(sum, l1$a, l1$b, l2$c, l2$z)

##  [1]  64  68  72  76  80  84  88  92  96 100  74  78  82  86  90  94  98 102 106
## [20] 110

with(Icfes,mapply(`-`,PROMMATEMATICA,
                  PROMRAZONAMIENTOCUANTITA)[1:30])

##  [1]  0.24 -0.08 -0.23 -0.36 -0.99  0.30 -0.50 -1.50  0.49 -1.07 -0.18  0.40
## [13] -2.30 -0.60  0.03 -0.32  3.50 -0.26  0.39 -1.76  0.68 -0.17 -0.67 -2.20
## [25] -0.87 -2.37 -0.41  0.20 -0.29 -0.68

tapply() Aplica la función sobre un vector, de acuerdo a una clasificación de la variable tipo factor.

tapply(Icfes$EVALUADOS, Icfes$JORNADA, mean)

## COMPLETA U ORDINARIA               MAÑANA                NOCHE 
##             37.73148             49.74110             34.91196 
## SABATINA - DOMINICAL                TARDE 
##             35.92033             53.13094

tapply(Icfes$PROMRAZONAMIENTOCUANTITA, Icfes$JORNADA, mean)

## COMPLETA U ORDINARIA               MAÑANA                NOCHE 
##             54.80120             49.65380             42.64660 
## SABATINA - DOMINICAL                TARDE 
##             42.56121             49.44264

Tidyverse

En el universo de tidyverse la programación vía tuberías es la principal novedad.

install.packages("dplyr",dependencies = T)

# Muestra aleatoria de resultados del ICFES
aux <- sample(dim(Icfes)[1],size = 2000)

library(dplyr)
Icfes2 <- tbl_df(Icfes[aux,])

Filtrar una base de datos

filter(Icfes2, DEPARTAMENTO == "ANTIOQUIA",
       NOMBREMUNICIPIO == "MEDELLIN")

Icfes2 %>% filter(DEPARTAMENTO == "ANTIOQUIA",
                  NOMBREMUNICIPIO == "MEDELLIN")

Selección de posiciones específicas de una base de datos

slice(Icfes2, 100:150)

Icfes2 %>%
  slice(100:150)

Ordenar la base de datos

arrange(Icfes2, DEPARTAMENTO)

arrange(Icfes2, DEPARTAMENTO, NOMBREINSTITUCION)

arrange(Icfes2, PROMLECTURACRITICA)

arrange(Icfes2, desc(PROMLECTURACRITICA))

Icfes2 %>% 
  arrange(DEPARTAMENTO, desc(PROMLECTURACRITICA))

Seleccion de columnas

select(Icfes2, NOMBREMUNICIPIO, DEPARTAMENTO, PROMLECTURACRITICA)

Icfes2 %>%
  select(NOMBREMUNICIPIO, DEPARTAMENTO, PROMLECTURACRITICA)

Elementos o registros únicos

distinct(select(Icfes2, DEPARTAMENTO))

Icfes2 %>% 
  select(DEPARTAMENTO) %>% 
  distinct()

Adicionar una nueva columna

mutate(Icfes2,promTotal=(PROMLECTURACRITICA+PROMMATEMATICA+PROMINGLES)/3)

Icfes2 %>% 
  mutate(promTotal=(PROMLECTURACRITICA+PROMMATEMATICA+PROMINGLES)/3)

transmute(Icfes2,promTotal=(PROMLECTURACRITICA+PROMMATEMATICA+PROMINGLES)/3)

Icfes2 %>% 
  transmute(promTotal=(PROMLECTURACRITICA+PROMMATEMATICA+PROMINGLES)/3)

Resumir variables o consolidar valores

summarise(Icfes2, mean(PROMMATEMATICA))

Icfes2 %>% 
  summarise(mean(PROMMATEMATICA))

Agrupación

group_by(Icfes2, DEPARTAMENTO)

Icfes2 %>% 
  group_by(DEPARTAMENTO)

Combinación de “verbos” en base de datos

agrupados_deptos <- group_by(Icfes2, DEPARTAMENTO)
promedio_depto <- summarise(agrupados_deptos, mean(PROMMATEMATICA))
promedio_depto

Mediante encadenamiento de verbos

Icfes2 %>% 
  group_by(DEPARTAMENTO) %>% 
  summarise(mean(PROMMATEMATICA))

Icfes2 %>% 
  group_by(DEPARTAMENTO) %>% 
  select(PROMMATEMATICA:PROMCOMPETENCIASCIUDADAN) %>%
  summarise_if(is.numeric,mean)

Combinación de manejo de datos

Icfes2 %>%
  mutate(promTotal = rowMeans(.[10:16])) %>%
  group_by(CODIGOMUNICIPIO) %>%
  arrange(desc(promTotal)) %>%
  select(NOMBREINSTITUCION, NOMBREMUNICIPIO, DEPARTAMENTO, promTotal) %>%
  slice(1:3)

¿Cuántas Instituciones Educativas tiene cada municipio?

Icfes2 %>%
  group_by(CODIGOMUNICIPIO, NOMBREMUNICIPIO, DEPARTAMENTO) %>%
  summarise(n = n()) %>%
  select(DEPARTAMENTO, NOMBREMUNICIPIO, n) %>%
  group_by(DEPARTAMENTO) %>%
  arrange(desc(n))

library(ggplot2)
Icfes2 %>% 
  ggplot(aes(x = PROMLECTURACRITICA,y = PROMMATEMATICA,
             fill=JORNADA,colour=JORNADA))+
  geom_point()

Icfes2 %>% 
  ggplot(aes(y = PROMMATEMATICA,x=DEPARTAMENTO,
             fill=DEPARTAMENTO))+
  geom_boxplot()+ theme(legend.position = "none",
                        axis.text.x = element_text(angle = 90))

Aumentando el poder

En algunas ocasiones se requiere realizar análisis estadísticos de un conjunto enorme de datos, los cuales pueden contener muchas variables categóricas o de tiempo, y el interés es evaluar en cada categoría o tiempo los resultados estadisticos de las variables importantes. Esto se puede suplir con la familia apply, el paquete dplyr o usando los ciclos for, while o repeat, no obstante, hay que recordar que una de las limitaciones de R es el uso de la memoria RAM para la compilación de resultados.

Esto significa que realizar ejecuciones con grandes cantidades de datos y múltiples opciones, el software deba hacer paso a paso cada ejecución, esto consume mucha memoria y relentiza tanto el equipo como la velocidad de ejecución. Para este tipo de casos, se puede usar la computación en paralelo, lo que significa asignar a cada núcleo del procesador una parte equitativa de tareas para que divida la ejecución y optimice recursos.

En R se puede hacer este tipo programación con varios paquetes como parallel, foreach, doParallel, snow, doSNOW, entre otros. Todos los paquetes para hacer computación paralela funcionan muy bien en sistemas operativos Unix y Mac, pero presenta algunas excepciones para Windows.

results <- data.frame()
system.time({
  for (i in 1:20000) {
    # Saco una muestra de 1000 numeros entre 1 y 12162
    ind <- sample(1:nrow(Icfes), size = 1000)
    Icfes_s <- Icfes[ind, ]
    # Hago un lm
    fit <- lm(Icfes_s$PROMMATEMATICA~Icfes_s$PROMLECTURACRITICA)
    
    # Extraigo el R2 y los coeficientes
    R2 <- summary(fit)$r.squared
    coef <- coefficients(fit)
    # lo junto todo en la data.frame de resultados
    results <- rbind(results, c(R2, coef))
  }
})

##    user  system elapsed 
##   60.50    0.02   60.52

Los resultados son entregados en segundos, estos tiempos variarán entre equipos, ya que depende de su configuración. Este ciclo se puede parelelizar con el paquete foreach y con los paquetes parallel y doParallel se establecen los núcleos del procesador a utilizar.

require(foreach)
require(parallel)
require(doParallel)

numcores <- detectCores()
cl <- makeCluster(numcores)
registerDoParallel(cl)
system.time({
  foreach(i=1:20000, .combine=rbind) %dopar% {
    # Saco una muestra de 1000 numeros entre 1 y 12162
    ind <- sample(1:nrow(Icfes), size = 1000)
    Icfes_s <- Icfes[ind, ]
    # Hago un lm
    fit <- lm(Icfes_s$PROMMATEMATICA~Icfes_s$PROMLECTURACRITICA)
    
    # Extraigo el R2 y los coeficientes
    R2 <- summary(fit)$r.squared
    coef <- coefficients(fit)
    # lo junto todo en la data.frame de resultados
    results <- rbind(c(R2=R2,coef))
  }
})

##    user  system elapsed 
##   12.34    2.13   16.17

stopCluster(cl) # siempre hay que usarlo

En comparación con un ciclo simple, la reducción del tiempo es significativa, además aumentando las habilidades de programación se puede hacer mucho más rápido. Para evitar realizar ciclos se puede construir una función que ejecute la regresión lineal según una muestra aleatoria de los datos, y con la familia apply se puede hacer las iteraciones necesarias, esto ahorra más tiempo de ejecución en comparación con los ciclos.

lm_boot <- function(iter,data) {
  ind <- sample(1:nrow(data), size = 1000)
  Icfes_s <- data[ind, ]
  # Hago un lm
  fit <- with(Icfes_s,
              lm(PROMMATEMATICA~PROMLECTURACRITICA))
  # Extraigo el R2 y los coeficientes
  R2 <- summary(fit)$r.squared
  coef <- coefficients(fit)
  # Creo un vector con los resultados
  results <- c("R2" = R2, coef)
  # El output de mi función
  return(results)
}

iter <- seq(1, 20000)
system.time({
  results <- lapply(iter, lm_boot, Icfes)
})

##    user  system elapsed 
##   31.89    0.00   31.89

En el paquete parallel existen una funciones basadas en la familia apply pero para ejecuciones en paralelo, sin embargo, solamente la función parLapply funciona para Windows.

cl <- makeCluster(numcores) # Hacemos el cluster
system.time(
  results <- parLapply(cl, iter, lm_boot,Icfes)
)

##    user  system elapsed 
##    0.10    0.32   10.78

stopCluster(cl) # Cerramos el cluster, NO OLVIDAR

Manejo de Bases de Datos