データエンジニアリング ファクトテーブルの加算/半加算/非加算ファクト ファクトテーブルは、現実世界のビジネス活動から生まれる測定可能なデータを格納し、分析のための基礎となる。ファクトテーブルで測定される数値データは、Additive(加算ファクト), Semi-Additive(半加算ファクト), Non-... 2024.11.17 データエンジニアリング
データエンジニアリング Degenerate Dimensions – 退化ディメンションとは ファクトテーブルにある、ディメンショナルテーブルを持っていないカラムのことです。 通常、ファクトテーブルは、主に数値で表される測定値であるファクトと、ファクトの記述的なコンテキストを提供するディメンションテーブルを持つディメンション... 2024.10.21 データエンジニアリング
dbt Windows環境でのdbt-core:文字コード問題の解決方法 Windowsサーバーでdbt-coreを利用していると、文字コード問題にしばしば出会います。この組み合わせで利用しているユーザーは少ないらしくネットでもあまり見つけられませんでしたので、解決方法をまとめました。 dbtディ... 2024.09.10 dbt
モノ Dell 27インチモニター(S2722QC)を買った 家のモニターが小さかったので、大きめのモニターを購入した。 いろいろ探していく中で、Dellの27インチのモニターに目をつけた。 そのあとは、どこで購入するか、で、amazon、ヨドバシカメラ、楽天で探していた... 2024.01.12 モノ
試験 令和5年度のデータベーススペシャリスト受験 先日、令和5年度のデータベーススペシャリスト試験を受けてきました。 今回は試験会場は、拓殖大学です。早めに行って、勉強を、と茗荷谷駅近くのマクドナルド、スターバックスと回ったのですが、どこも一杯でした。おそらく、私と同じデー... 2023.10.16 試験
仕事 転職して確定拠出年金の移行手続きをした この度、転職をして確定拠出年金の移行手続きをしました。いわゆるポータビリティ制度を利用しての移行です。 転職元には、確定給付企業年金制度と確定拠出年金制度がありました。 そして、転職先には、確定拠出年金制度があったので... 2022.03.07 仕事
Python 二分探索でマスタのデータを効率的にセットする とあるデータに、マスタからデータを紐づく名称を取得してセットするという仕事がありました。初めは何も考えずに線形探索でいけるかな、と考えました。が、思ったよりもデータ量、マスタが複数でこちらもデータ量が多かったので、処理に1、2日要してしま... 2021.02.27 Python
AWS AWS Glue環境をDockerで構築 で AWS Glue環境をDockerで構築する方法が掲載していたのでやってみました。AWS Glueの開発は画面からだとデバックが遅すぎるので、ローカルにAWS Glue環境を立てると、ローカルで開発することができます。 Dock... 2021.02.23 AWS
AWS phpMyAdminから、sshポートフォワーディングを用いて、AWS上のプライベートサブネットにあるMySQLに接続する方法 phpMyAdminから、AWS上のプライベートサブネットにあるMySQLに接続するための仕組みを構築しました。私は分析用とで利用しているだけなので、SQLクライアントで良いと思っているのですが、DBを管理するユーザーにはphpMyAdm... 2020.06.06 AWS
デジタルマーケティング WHF下のオンラインミーティングとデジタル広告 WHF下のオンラインミーティングと、デジタル広告の話。 オンラインミーティング オンラインミーティングの回数は多い。元々、多かった会議がオフラインからオンラインになった。 うちの会社はオンラインで顔を見せるのが必... 2020.05.29 デジタルマーケティング