データ操作– category –
Dataの入手から加工までお役立ちノウハウをご紹介します。
-
Pythonローカル環境JupyterとGCPのBigqueryデータ連携と実行
ローカルPCとGoogle Cloud Platform（GCP）の両環境データをシームレス連携して自動化を促進したいと困っていませんか？手作業が入ると自動化メリットが軽減されるので、一気通貫で自動化したい。ボタン押すだけやbat処理も楽です。私自身はローカルPCにPy... -
SQLで条件岐はCASE式！サンプルでエクセルif文と比較解説
条件分岐をするためにエクセルやプログラムで使われるIF文はSQLではCASE式を使います。条件抽出のWHEREと違うのは、CASE式で作成した条件で新しいカラムを追加できることです。SQLのCASE式（条件分岐）は構文が長くなってしまうデメリットがあるものの処理... -
SQLHAVING句とWHERE句の違いをサンプルで解説
SQLの集計関数を利用後に、条件抽出したい場合はHAVING句を使います。WHERE句ですと抽出することができません。HAVING句は触れる方が少ないので、存在を知らない方もいると思います。WHERE句で条件抽出できるはずなのにできない。なんでかな～と調べていた... -
SQLの副問い合わせはWITH句！複数条件でも一時テーブル保存で簡単
SQLの中にSQLを作成するサブクエリ（副問い合わせ）はWITH構文を利用するのが簡単です。結合テーブル数が増えるほど、SQLは複雑になりますが、WITHを使うことで非常にわかりやすくなります。第3者が見た時は久しぶりに自分のコードを見た時に理解が早いの... -
Pandasデータの縦横変換pivotとmeltの使用例
PandasのDataFrameで特定の項目だけを縦横変換したい場合の説明です。※内容も変わる転置の説明ではありません。 意外と忘れやすい方法でもあるので、イメージが伝わりやすいように実際のデータを活用して変換例を解説いたします。 DataFrameの縦横変換 横... -
Pythonでcsvやエクセルファイルを分割するプログラム
１つのファイルから目的別の複数ファイルに分割したい。例えば、エクセル１BOOKに１０万行データがあって、宛先毎にエクセルファイルを分けたいケースです。宛先件数が多いほど、別BOOKに保存する作業は大変なので、自動化したい作業です。 本記事では、約... -
Pandasのマルチインデックス（マルチカラム）解除方法
Pandasのピボットテーブルなどのデータ加工をするとマルチインデックス（マルチカラム）になる時があります。データ加工難易度を下げるために、マルチインデックスを解除しデータを連結しながら進めていくことが多いと思います。 本記事では、意図せずマル... -
Pythonの画像類似度判定で同一画像や近い画像を検知する
目視チェックが大変な画像をPythonを利用して、同一画像や類似画像を検索する方法のご紹介です。 Phashを用いた画像類似度判定方法を解説 ライブラリのインストール import imagehash from PIL import Image ライブラリのインストールがまだの方は下記コマ... -
グループの名称から区切り文字で同一キーワードをPytyhonで抽出
カテゴリ毎に名称があるリストで、同一名称を抜き出したいニーズがあります。例えば、カテゴリと名称の組み合わせがあるデータ（左図）を元に、categolyをkeyにnameと同じ名称を抽出しました（右図） 元データ categolyname12tsutech プログラム講座 les... -
PythontやSQL学習で利用するサンプルデータの提供
Python学習を効率的に進めるためにサンプルデータをご用意いたしました。個人で利用する分には問題ありませんが、WebサイトやSNSなど、第３者への掲載および提供はしないようお願いいたします。 ■商品情報ファイル１下記の商品情報ファイル約100レコードの...
