スポンサーリンク
Python

二分探索でマスタのデータを効率的にセットする

とあるデータに、マスタからデータを紐づく名称を取得してセットするという仕事がありました。初めは何も考えずに線形探索でいけるかな、と考えました。が、思ったよりもデータ量、マスタが複数でこちらもデータ量が多かったので、処理に1、2日要してしま...
AWS

AWS Glue環境をDockerで構築

で AWS Glue環境をDockerで構築する方法が掲載していたのでやってみました。AWS Glueの開発は画面からだとデバックが遅すぎるので、ローカルにAWS Glue環境を立てると、ローカルで開発することができます。 Dock...
AWS

phpMyAdminから、sshポートフォワーディングを用いて、AWS上のプライベートサブネットにあるMySQLに接続する方法

phpMyAdminから、AWS上のプライベートサブネットにあるMySQLに接続するための仕組みを構築しました。私は分析用とで利用しているだけなので、SQLクライアントで良いと思っているのですが、DBを管理するユーザーにはphpMyAdm...
デジタルマーケティング

WHF下のオンラインミーティングとデジタル広告

WHF下のオンラインミーティングと、デジタル広告の話。 オンラインミーティング オンラインミーティングの回数は多い。元々、多かった会議がオフラインからオンラインになった。 うちの会社はオンラインで顔を見せるのが必...
振り返り

在宅生活2ヶ月を振り返る

うちの会社は3月上旬からWFHに切り替わったので、そろそろ2ヶ月。 初めの頃は毎日在宅のリズムが掴めていなかったが、4月になると徐々に在宅のリズムが掴めるようになった。掴むために周りの環境を少しずつ変えた、というのが正しいのかも。 ...
AWS

Route 53 Resolverを利用して、オンプレ環境からAhtenaでS3ファイルを操作する

オンプレ環境からAhena経由でS3を操作する設定をしました。オンプレ環境上にTableauやSQLクライアントがあり、それらからS3のデータを取得したい、という場面で活用します。 ベンチャー企業は初めからクラウド環境で構築している...
未分類

デロイトトーマツの「デジタル時代の広告投資戦略:広告宣伝を取り巻くリスクと、いま企業に求められるアクション」に参加

デロイトトーマツの「デジタル時代の広告投資戦略:広告宣伝を取り巻くリスクと、いま企業に求められるアクション」というセミナーに出席した。上司が行けなくなったための代打で行ったのだけど、普段やっている業務とは若干ずれていたので面白かった。こう...
振り返り

2019年の振り返りと2020年の目標

2019年の振り返りと2020年の目標。 2019年の振り返り 2019年も引き続きデジタルマーケティングチームで分析を担当していました。分析の担当といっても、分析だけをしているのではなく基盤の整備だったりデータの可視...
AWS

Twitter APIをLambdaから呼び出し、結果をS3に保存する

Twitter APIを利用できるようになった(Twitter APIを利用してアカウントデータ、ツイートデータを取得してみた)ので、AWS上のLambdaに置いてみることにしました。以前使用したAWS SAM(S サーバーレスアプリケー...
Python

Twitter APIを利用してアカウントデータ、ツイートデータを取得してみた

Twitterのデータを取得する必要があったのでTwitter APIを利用して取得しました。Twitter社はスクレイピングを禁止しているので、データを取得する場合は公式のAPIを利用する必要があります。 Twitterの事前の承...
スポンサーリンク
タイトルとURLをコピーしました