二分探索でマスタのデータを効率的にセットする
とあるデータに、マスタからデータを紐づく名称を取得してセットするという仕事がありました。初めは何も考えずに線形探索でいけるかな、と考えました。が、思ったよりもデータ量、マスタが複数でこちらもデータ量が多かったので、処理に […]
記事を読むNOTES & IDEAS
Python
Pythonについての記事
Twitter APIをLambdaから呼び出し、結果をS3に保存する
Twitter APIを利用できるようになった（Twitter APIを利用してアカウントデータ、ツイートデータを取得してみた）ので、AWS上のLambdaに置いてみることにしました。以前使用したAWS SAM（S サー […]
記事を読むTwitter APIを利用してアカウントデータ、ツイートデータを取得してみた
Twitterのデータを取得する必要があったのでTwitter APIを利用して取得しました。Twitter社はスクレイピングを禁止しているので、データを取得する場合は公式のAPIを利用する必要があります。 Twitte […]
記事を読むSQLAlchemyでデータをdataframeに取得し列を追加してMySQLにインポート
業務であるテーブルから、日付を追記して他のテーブルに入れる処理をSQLAlchemyで対応しました。 MySQL1から別のMySQL2にデータをexportしてimportする際に、MySQL1のデータに日 […]
記事を読むPythonのSearch Console APIを利用してクエリ情報を取得
Quickstart: Run a Search Console App in Python | Search Console API | Google for Developersdevelopers.goog […]
記事を読むSBI証券のポートフォリオ情報をPythonでスクレイピング
SBI証券のポートフォリオをPythonのseleniumを利用して、webスクレイピングで実装しました。毎回ログインして記録していくのは大変ですが、スクレイピングをすれば一気に取得できます。 AWSのLambdaに乗せ […]
記事を読むOne Hot encodingをR/Pythonで実装
機械学習の勉強を進めて行く中でOne Hot encodingという単語に出くわしました。 One Hot encodingとは、カテゴリー変数を機械学習のアルゴリズムが学習しやすいように0と1で表現する処理のことです。 […]
記事を読むpython/Rで縦持ちのデータを横持ちにする
前処理大全の第７章の展開では、縦持ちから横持ちのawesomeな方法が記載されていましたが、逆の横持ちから縦持ちへの言及がありませんでした。このような手法は、あまり多用されていないから記載がなかったのかもしれません。 今 […]
記事を読む
