【仮想通貨の自動売買を目指して】GCPで定期的にbitflyerのチャートを取得してデータを格納する

1.
2├── bitflyer_data_getter.py
3├── const.py
4├── main.py
5└── requirements.txt

1BTC_URL = "https://api.cryptowat.ch/markets/bitflyer/btcfxjpy/ohlc"
2PERIOD = 900
3MARKET = "bitflyer"
4PAIRS = "btcfxjpy"
5PROJECT_ID = "mlbot-test"
6DATA_BUCKET_NAME = "mlbot-test-data"
7CHART_PATH = "chart.csv"

1pandas==1.4.3
2requests==2.28.1
3google-cloud-storage==2.5.0

1storage_client = gcs.Client(const.PROJECT_ID)
2
3def get_data_from_gcs(bucket_name, filepath):
4    '''
5    GCSからデータを取得
6
7    Parameters
8    -----------
9    bucket_name : string
10        取得先のバケット名
11    filepath : string
12        ファイルのパス
13
14    Returns
15    -----------
16    df : Dataframe
17        GCSから取得したデータのDataframe
18    '''
19    bucket = storage_client.get_bucket(bucket_name)
20    blob = bucket.blob(filepath)
21    df = pd.read_csv(BytesIO(blob.download_as_string()), index_col=0)
22
23    return df

1def get_recent_data():
2    '''
3    cryptowatchから直近のデータを取得
4
5    Returns
6    -----------
7    df : Dataframe
8        直近のデータのDataframe[op, hi, lo, cl, volume]
9    '''
10    now = str(int(time.time()))
11    params = {"periods": str(const.PERIOD), "before": now}
12    columns = ["CloseTime", "op", "hi", "lo", "cl", "volume", "QuoteVolume"]
13
14    res = requests.get(const.BTC_URL, params).json()
15    df = pd.DataFrame(res['result'][str(const.PERIOD)], columns=columns)
16
17    df.index = pd.to_datetime(
18        df['CloseTime'], unit='s', utc=True).dt.tz_convert('Asia/Tokyo')
19
20    df.index.name = 'timestamp'
21    df = df.drop(['CloseTime', 'QuoteVolume'], axis=1)
22
23    return df

1def create_new_data(df_recent):
2    '''
3    新しいデータの作成
4
5    Parameters
6    -----------
7    df_recent : Dataframe
8        直近のデータのDataframe
9
10    Returns
11    -----------
12    df : Dataframe
13        既存データのと新しいデータを合わせたDataframe
14    '''
15    df_gcs = get_data_from_gcs(const.DATA_BUCKET_NAME, const.CHART_PATH)
16    df = pd.concat([df_gcs, df_recent]).drop_duplicates()
17
18    return df

1storage_client = gcs.Client(const.PROJECT_ID)
2
3def save_data(df, bucket_name, filepath):
4    '''
5    データの保存
6
7    Parameters
8    -----------
9    df : Dataframe
10        保存するDataframe
11    bucket_name : string
12        保存先のバケット名
13    filepath : string
14        ファイルのパス
15    '''
16    bucket = storage_client.get_bucket(bucket_name)
17    blob = bucket.blob(filepath)
18    blob.upload_from_string(df.to_csv())

1from bitflyer_data_getter import *
2import const
3
4def main(event, context):
5    """Triggered from a message on a Cloud Pub/Sub topic.
6    Args:
7         event (dict): Event payload.
8         context (google.cloud.functions.Context): Metadata for the event.
9    """
10
11    df_recent = get_recent_data()
12    df = create_new_data(df_recent)
13    save_data(df, const.DATA_BUCKET_NAME, const.CHART_PATH)

1echo "timestamp,op,hi,lo,cl,volume" > chart.csv