データエンジニアリング ファクトテーブルの加算/半加算/非加算ファクト
ファクトテーブルは、現実世界のビジネス活動から生まれる測定可能なデータを格納し、分析のための基礎となる。ファクトテーブルで測定される数値データは、Additive（加算ファクト）, Semi-Additive（半加算ファクト）, Non-A...
データエンジニアリング 
データエンジニアリング Degenerate Dimensions – 退化ディメンションとは
ファクトテーブルにある、ディメンショナルテーブルを持っていないカラムのことです。通常、ファクトテーブルは、主に数値で表される測定値であるファクトと、ファクトの記述的なコンテキストを提供するディメンションテーブルを持つディメンションキーで構成...
dbt Windows環境でのdbt-core：文字コード問題の解決方法
Windowsサーバーでdbt-coreを利用していると、文字コード問題にしばしば出会います。この組み合わせで利用しているユーザーは少ないらしくネットでもあまり見つけられませんでしたので、解決方法をまとめました。dbtディレクトリ内のファイ...
モノ Dell 27インチモニター（S2722QC）を買った
家のモニターが小さかったので、大きめのモニターを購入した。いろいろ探していく中で、Dellの27インチのモニターに目をつけた。そのあとは、どこで購入するか、で、amazon、ヨドバシカメラ、楽天で探していたが、公式のサイトから購入した方が安...
試験 令和5年度のデータベーススペシャリスト受験
先日、令和5年度のデータベーススペシャリスト試験を受けてきました。今回は試験会場は、拓殖大学です。早めに行って、勉強を、と茗荷谷駅近くのマクドナルド、スターバックスと回ったのですが、どこも一杯でした。おそらく、私と同じデータベーススペシャリ...
仕事 転職して確定拠出年金の移行手続きをした
この度、転職をして確定拠出年金の移行手続きをしました。いわゆるポータビリティ制度を利用しての移行です。転職元には、確定給付企業年金制度と確定拠出年金制度がありました。そして、転職先には、確定拠出年金制度があったので、確定給付企業年金、確定拠...
Python 二分探索でマスタのデータを効率的にセットする
とあるデータに、マスタからデータを紐づく名称を取得してセットするという仕事がありました。初めは何も考えずに線形探索でいけるかな、と考えました。が、思ったよりもデータ量、マスタが複数でこちらもデータ量が多かったので、処理に1、2日要してしまい...
AWS AWS Glue環境をDockerで構築
で AWS Glue環境をDockerで構築する方法が掲載していたのでやってみました。AWS Glueの開発は画面からだとデバックが遅すぎるので、ローカルにAWS Glue環境を立てると、ローカルで開発することができます。Docker im...
AWS phpMyAdminから、sshポートフォワーディングを用いて、AWS上のプライベートサブネットにあるMySQLに接続する方法
phpMyAdminから、AWS上のプライベートサブネットにあるMySQLに接続するための仕組みを構築しました。私は分析用とで利用しているだけなので、SQLクライアントで良いと思っているのですが、DBを管理するユーザーにはphpMyAdmi...
デジタルマーケティング WHF下のオンラインミーティングとデジタル広告
WHF下のオンラインミーティングと、デジタル広告の話。オンラインミーティングオンラインミーティングの回数は多い。元々、多かった会議がオフラインからオンラインになった。うちの会社はオンラインで顔を見せるのが必須ではないので、服装、見た目は気に...