ファクトテーブルの加算/半加算/非加算ファクト
ファクトテーブルは、現実世界のビジネス活動から生まれる測定可能なデータを格納し、分析のための基礎となる。ファクトテーブルで測定される数値データは、Additive（加算ファクト）, Semi-Additive（半加算ファ […]
記事を読むNOTES & IDEAS
記事一覧
データエンジニアリング、仕事、日々の記録。
Degenerate Dimensions – 退化ディメンションとは
ファクトテーブルにある、ディメンショナルテーブルを持っていないカラムのことです。 通常、ファクトテーブルは、主に数値で表される測定値であるファクトと、ファクトの記述的なコンテキストを提供するディメンションテーブルを持つデ […]
記事を読むWindows環境でのdbt-core：文字コード問題の解決方法
Windowsサーバーでdbt-coreを利用していると、文字コード問題にしばしば出会います。この組み合わせで利用しているユーザーは少ないらしくネットでもあまり見つけられませんでしたので、解決方法をまとめました。 dbt […]
記事を読むDell 27インチモニター（S2722QC）を買った
家のモニターが小さかったので、大きめのモニターを購入した。 いろいろ探していく中で、Dellの27インチのモニターに目をつけた。 そのあとは、どこで購入するか、で、amazon、ヨドバシカメラ、楽天で探していたが、公式の […]
記事を読む令和5年度のデータベーススペシャリスト受験
先日、令和5年度のデータベーススペシャリスト試験を受けてきました。 今回は試験会場は、拓殖大学です。早めに行って、勉強を、と茗荷谷駅近くのマクドナルド、スターバックスと回ったのですが、どこも一杯でした。おそらく、私と同じ […]
記事を読む転職して確定拠出年金の移行手続きをした
この度、転職をして確定拠出年金の移行手続きをしました。いわゆるポータビリティ制度を利用しての移行です。 転職元には、確定給付企業年金制度と確定拠出年金制度がありました。 そして、転職先には、確定拠出年金制度があったので、 […]
記事を読む二分探索でマスタのデータを効率的にセットする
とあるデータに、マスタからデータを紐づく名称を取得してセットするという仕事がありました。初めは何も考えずに線形探索でいけるかな、と考えました。が、思ったよりもデータ量、マスタが複数でこちらもデータ量が多かったので、処理に […]
記事を読むAWS Glue環境をDockerで構築
Developing AWS Glue ETL jobs locally using a container | Amazon Web ServicesApril 2025: The contents of this p […]
記事を読むphpMyAdminから、sshポートフォワーディングを用いて、AWS上のプライベートサブネットにあるMySQLに接続する方法
phpMyAdminから、AWS上のプライベートサブネットにあるMySQLに接続するための仕組みを構築しました。私は分析用とで利用しているだけなので、SQLクライアントで良いと思っているのですが、DBを管理するユーザーに […]
記事を読むWHF下のオンラインミーティングとデジタル広告
WHF下のオンラインミーティングと、デジタル広告の話。 オンラインミーティング オンラインミーティングの回数は多い。元々、多かった会議がオフラインからオンラインになった。 うちの会社はオンラインで顔を見せるのが必須ではな […]
記事を読む
