Data Visualization 
Conductor
複数ファイルのCSVファイルの読み込み
Visualizer
これは実務上は大事かも
file_pathの列を追加。
Wrangler
全体像はこんな感じ
# 1.0 LIBRARIES ----
library(tidyverse)
library(fs)
# 2.0 READING MULTIPLE CSV ----
# - Tip 001 - Revised to specify column types
# - FIXES Error: Can't combine `drv` <character> and `drv` <logical>.
directory_that_holds_files <- "001_read_multiple_files/data/"
car_data_list <- directory_that_holds_files %>%
dir_ls() %>%
# dir_ls()とは指定したディレクトリ内のファイルをリストで取得する関数。
map(
.f = function(path) {
#.fとはmap関数の引数で、各要素に適用する関数を指定する。
# function(path)は各要素に適用する関数を指定している。
# path は、dir_ls() でリストされた各CSVファイルのパス。
# リスト化されたpathの先のファイルのカラムの読込指定。
read_csv(
path,
col_types = cols(
manufacturer = col_character(),
model = col_character(),
displ = col_double(),
year = col_double(),
cyl = col_double(),
trans = col_character(),
drv = col_character(),
cty = col_double(),
hwy = col_double(),
fl = col_character(),
class = col_character()
)
)
}
)
# 3.0 BINDING DATA FRAMES ----
# - bind_rows() : Taught in DS4B 101-R
car_data_tbl <- car_data_list %>%
set_names(dir_ls(directory_that_holds_files)) %>%
# car_data_list の各データフレームに対して、dir_ls(directory_that_holds_files) で取得したファイルパスを名前として付与します。
# これにより、ファイルパスがリストの名前として設定されます。
# bind_rows() は、リスト内の複数のデータフレームを行方向に結合します。
# この際、.id 引数を指定することで、どのデータフレームがどのファイルから読み込まれたかを示す列（ここでは file_path 列）を作成します。
bind_rows(.id = "file_path")
car_data_tbl
# 4.0 CREATE A DIRECTORY ----
# - fs package
new_directory <- "004_writing_multiple_files/car_data_01/"
# pathを記載。
dir_create(new_directory)
# directory_that_holds_files とは異なるディレクトリを作成します。
# 5.0 SPLITTING & WRITING CSV FILES ----
# - Text (stringr): Taught in DS4B 101-R
# - Iteration (purrr map): Taught in DS4B 101-R
car_data_tbl %>%
mutate(file_path = file_path %>% str_replace(directory_that_holds_files, new_directory)) %>%
# file_path に含まれる directory_that_holds_files を new_directory に置換します。
# str_replace() は、文字列の置換を行います。
group_by(file_path) %>%
# file_path でグループ化します。
group_split() %>%
# group_split() は、グループ化されたデータフレームをリストに変換します。
map(
.f = function(data) {
write_csv(data, path = unique(data$file_path))
# write_csv() は、データフレームをCSVファイルとして書き込みます。
# path 引数には、書き込むファイルのパスを指定します。
# unique(data$file_path) は、dataのfile_path列のユニークな値を取得します。
}
)
Raw data / Wrangling / Feature Engineering（抽出～整形）
- Source: CSVファイル格納
- SQL読込： –
- CSV読込： 〇
- API読込 ： –
Extractor
元々のデータフレーム
Wrangler
Loading
# Script on Rstudio
# Tips: 読み込み先のファイルは「記載するpath名の始まり」からWorking Directoryとして設定する必要性がある。
`read_csv()` 関数の `path` 引数は、読み込みたいCSVファイルの**ファイルパス**を指定するための引数です。ファイルパスは、コンピュータのどこにそのファイルが存在するかを示すもので、`read_csv()` はそのパスを基にファイルを見つけてデータを読み込みます。
例えば、`read_csv("data/sample.csv")` のように、`path` に `"data/sample.csv"` を渡すと、`read_csv()` はそのパスにある `sample.csv` ファイルを開いて読み込みます。
### ファイルパスの種類
1. **絶対パス**: ルートディレクトリから始まる完全なパス。
- 例: `C:/Users/username/Documents/data/sample.csv`
2. **相対パス**: 現在の作業ディレクトリを基準としたパス。
- 例: `data/sample.csv` （現在のディレクトリ内の `data` フォルダにある `sample.csv` を指す）
### コード内での `path` の役割
コード内の `map(.f = function(path) {...})` の `path` は、`dir_ls()` で取得されたファイルパスのリストから1つずつ渡されます。そのため、各CSVファイルのパスが `read_csv()` に渡され、それぞれのCSVファイルが順に読み込まれる仕組みです。
```r
map(
.f = function(path) {
read_csv(path, ...)
}
)
```
この `path` は、`dir_ls()` でリストされた各CSVファイルのパスです。Wrangler
視える化に合わせて編集
スキップ
メモ
- 行 (row) ：レコード、Observation
- 列 (column)：特徴量、変数、次元数、次元の削減（Dimensionality Reduction）: 高次元データを少ない次元に圧縮し、モデルの効率を上げるための手法。
- 値：data point、Feature
参考リンク
- Script事例：https://www.business-science.io/
- Rデータの種類：https://ebreha.com/__trashed/
