Python 二分探索でマスタのデータを効率的にセットする
とあるデータに、マスタからデータを紐づく名称を取得してセットするという仕事がありました。初めは何も考えずに線形探索でいけるかな、と考えました。が、思ったよりもデータ量、マスタが複数でこちらもデータ量が多かったので、処理に1、2日要してしまい...
Python
Python 
AWS Twitter APIをLambdaから呼び出し、結果をS3に保存する
Twitter APIを利用できるようになった（Twitter APIを利用してアカウントデータ、ツイートデータを取得してみた）ので、AWS上のLambdaに置いてみることにしました。以前使用したAWS SAM（S サーバーレスアプリケーシ...
Python Twitter APIを利用してアカウントデータ、ツイートデータを取得してみた
Twitterのデータを取得する必要があったのでTwitter APIを利用して取得しました。Twitter社はスクレイピングを禁止しているので、データを取得する場合は公式のAPIを利用する必要があります。Twitterの事前の承諾なしに本...
Python SQLAlchemyでデータをdataframeに取得し列を追加してMySQLにインポート
業務であるテーブルから、日付を追記して他のテーブルに入れる処理をSQLAlchemyで対応しました。MySQL1から別のMySQL2にデータをexportしてimportする際に、MySQL1のデータに日付カラムを追加して、MySQL2にデ...
Python PythonのSearch Console APIを利用してクエリ情報を取得
公式のクイックスタートではAPIを利用して、Search Consoleのプロパティのリストを取得しています。私はクエリ、url、インプレッション、CTR、順位の取得までをやりたかったので実装してみました。取得したデータはDataFrame...
Python SBI証券のポートフォリオ情報をPythonでスクレイピング
SBI証券のポートフォリオをPythonのseleniumを利用して、webスクレイピングで実装しました。毎回ログインして記録していくのは大変ですが、スクレイピングをすれば一気に取得できます。AWSのLambdaに乗せて、dailyでデータ...
Python One Hot encodingをR/Pythonで実装
機械学習の勉強を進めて行く中でOne Hot encodingという単語に出くわしました。One Hot encodingとは、カテゴリー変数を機械学習のアルゴリズムが学習しやすいように0と1で表現する処理のことです。縦持ちのカテゴリー変数...
Python python/Rで縦持ちのデータを横持ちにする
前処理大全の第７章の展開では、縦持ちから横持ちのawesomeな方法が記載されていましたが、逆の横持ちから縦持ちへの言及がありませんでした。このような手法は、あまり多用されていないから記載がなかったのかもしれません。今回、仕事で横持ちから縦...