監視Prometheus Certified Associate (PCA) 受験体験記 はじめに Prometheus Certified Associate (PCA)に合格することができたので、合格までの体験記としてまとめたいと思います。 PCAはまだ新しく情報が少ないので、何か参考になれば幸いです。 Prometheus...2023.03.22監視
監視【Prometheus】リラベルを試してみる はじめに Prometheusでのリラベルについて、どんな風に設定するのか、何ができるのかをざっくり紹介していきます。 リラベル リラベルとは、モニタリングのターゲットのラベルを書き換えることができる設定です。 ターゲットをスクレイピングす...2023.03.20監視
Kubernetesminikubeで複数クラスタ構築 はじめに minikubeを使って、複数のクラスタを構築する方法を紹介します。 複数クラスタ構築 下記のように-pオプションを使って、プロファイル名を指定することで、複数のクラスタを構築できます。 minikube start -p {pr...2023.03.14Kubernetes
監視【Prometheus】PromQLのand/or/unlessを理解する はじめに Prometheusで使うPromQLのand/or/unlessについて紹介していきます。 論理演算子(and/or/unless) PromQLで使える論理演算子は下記の3種類になります。 演算子 式 結果 an...2023.03.10監視
Kuberneteskubectl get podで”Completed”のPodをフィルタリングする はじめに kubectl get podでPodのSTATUSがCompletedになっているPodをフィルタして表示する方法を紹介します。 PodのStatusがCompletedでフィルタ 下記のようにPodのSTATUSカラムがCom...2023.03.04Kubernetes
Kubernetes【Kubernetes】StatefulSetについて理解する はじめに KubernetesのStatefulSetについて、どんなものなのか動かしながら理解していきたいと思います。 StatefulSetとは StatefulSetとは、データベースなどステートフルなPodを管理するオブジェクトにな...2023.02.23Kubernetes
DockerDockerfileからビルドしたイメージを実行したら”permission denied: unknown.”になった はじめに Dockerfileからビルドしたイメージを実行したところ、permission denied: unknown.というエラーになったので、その原因と対処方法を紹介します。 事象 まずは、今回遭遇した事象について解説します。 下記...2023.02.13Docker
DockerDockerfileからタグをつけてビルドして実行 はじめに Dockerfileを使って、さくっとタグをつけてビルドして、実行する方法を紹介します。 ビルドも実行も本来色々なオプションがありますが、今回はよく使うパターンとして紹介させていただきます。 Dockerfileからタグをつけてビ...2023.02.13Docker
KubernetesHelmでPostgreSQLを動かしてみる はじめに HelmとHelmfileを使ってPostgreSQLをサクッと構築してみたいと思います。 必要なファイル 必要なファイルは下記の通りです。 . ├── helmfile.yaml └── values.yaml Namespac...2023.02.09Kubernetesデータベース
ミドルウェアDocker ComposeでKafkaを構築してどんなものかざっくり理解する はじめに Docker ComposeでKafkaを構築して、Kafkaがどんなものかをざっくり理解していきます。 Kafkaとは Kafka(Apache Kafka)とは、イベントストリーミングプラットフォーム(ミドルウェア)になります...2023.02.08ミドルウェア
Kubernetesminikubeで複数クラスタ構築 はじめに minikubeを使って、複数のクラスタを構築する方法を紹介します。 複数クラスタ構築 下記のように-pオプションを使って、プロファイル名を指定することで、複数のクラスタを構築できます。 minikube start -p {pr...2023.03.14Kubernetes
Kuberneteskubectl get podで”Completed”のPodをフィルタリングする はじめに kubectl get podでPodのSTATUSがCompletedになっているPodをフィルタして表示する方法を紹介します。 PodのStatusがCompletedでフィルタ 下記のようにPodのSTATUSカラムがCom...2023.03.04Kubernetes
Kubernetes【Kubernetes】StatefulSetについて理解する はじめに KubernetesのStatefulSetについて、どんなものなのか動かしながら理解していきたいと思います。 StatefulSetとは StatefulSetとは、データベースなどステートフルなPodを管理するオブジェクトにな...2023.02.23Kubernetes
KubernetesHelmでPostgreSQLを動かしてみる はじめに HelmとHelmfileを使ってPostgreSQLをサクッと構築してみたいと思います。 必要なファイル 必要なファイルは下記の通りです。 . ├── helmfile.yaml └── values.yaml Namespac...2023.02.09Kubernetesデータベース
CI/CDHelmでローカルにSonarQubeを構築してみる はじめに HelmでローカルにSonarQubeを構築してみます。 今回はHelmとhelmfileを使います。helmfileについては、下記で解説していますが、Helmチャートを宣言的にデプロイできるツールです。 SonarQubeと...2023.02.01CI/CDKubernetes
Kubernetes【Kubernetes】Strategic Merge Patchについてざっくり理解する はじめに Kubernetesで使われるStrategic Merge Patchについて、ざっくり理解していきます。 また、Strategic Merge Patchで使われる命令文の中からKustomizeでサポートされているものを紹介...2023.01.28Kubernetes
Kubernetes【Kubernetes】HPAを使いつつ手動でスケールさせる はじめに HPA(Horizontal Pod Autoscaler)を使っている場合に、DeploymentのPodの数を手動でスケールアウト、スケールインする方法を紹介します。 HPAを使いつつ手動スケール HPAを使っている場合は、ス...2023.01.24Kubernetes
Kuberneteskubectl patchでリソース更新 はじめに kubectl patchについて、実際の例を見ながら使い方を紹介していきます。 kubectl patch kubectl patchはStrategic Merge Patch、JSON Merge Patch、JSON Pa...2023.01.20Kubernetes
Kubernetes【kustomize】特定の環境だけbaseのリソースを削除する はじめに Kustomizeのbaseディレクトリにあるリソースを特定のoverlaysの環境からのみ削除する方法を紹介します。 背景 Kustomizeを使っていて、基本的にはどの環境にもデプロイするリソースはbase配下にマニフェストを...2022.12.22Kubernetes
Kubernetes【kubectl status】リソースの状態を取得する はじめに kubectl statusを使って、Kubernetesリソースの状態を取得する方法を紹介します。 kubectl-status kubectl statusは、Kubernetesのリソースの状態をわかりやすく表示してくれるk...2022.12.17Kubernetes
プログラミング【Pandas】DataFrameでIndexが重複している行を削除する はじめに PandasのDataFrameからIndexが重複している行を削除する方法を紹介します。 Indexが重複している行を削除 pandas.Index.duplicatedを使ってIndexが重複した行を削除します。 やり方は下記...2022.09.23プログラミング
プログラミングseabornで複数のグラフを並べて描画する はじめに seabornでsubplotを使って、複数のグラフを並べて描画する方法を紹介します。 テンプレ テンプレとなるコードは下記の通りです。 ここでは4行3列の12個のグラフを表示するパターンになっています。 import seabo...2022.07.23プログラミング
競プロ【AtCoder】Python標準ライブラリarrayの使い方 はじめに Pythonの標準ライブラリであるarrayについて簡単な使い方をまとめました。また、AtCoderでarrayを利用することでACできる問題があったので、そちらも合わせて紹介していきます。 arrayとは Pythonの標準ライ...2021.10.09競プロ
競プロ【AtCoder】Pythonで二分探索 はじめに Pythonで二分探索を実装するためのテンプレとAtCoderの問題をまとめました。 Pythonで二分探索 二分探索とは、検索する問題を半分に分割しながら解を探しだすアルゴリズムです。 Pythonでソートされたリストに対して、...2021.10.01競プロ
競プロ【AtCoder】bisectでリストを二分探索する はじめに bisectの使い方とbisectを使うAtCoderの問題をまとめました。 bisectの使い方 bisectは、ソートされたリストにソートされた状態を保ちながら挿入、挿入する場所を求めることができるライブラリです。 二分探索を...2021.09.10競プロ
プログラミング【Python】リストと辞書をソートする はじめに Pythonでのソートに関して、リストのソートや辞書のソートの書き方をまとめました。 sortとsoted sortはlist型のメソッドになります。元のリストがソートされます。 sortedはソートしたリストを生成します。lis...2021.09.02プログラミング
プログラミング【Python】datetimeの基本的な使い方 はじめに Pythonで日付や時刻を操作できるdatetimeというライブラリの基本的な使い方を紹介します。 datetimeでは日付や時刻を表したり、それらの計算ができます。 データ型 datetimeで主に扱うデータは以下になります。...2021.09.01プログラミング
競プロ【AtCoder】Pythonでキューを使う はじめに Pythonで使えるキューを理解して、AtCoderの問題で使いこなせるように解説していきます。 実際にAtCoderの問題でキューを使ったサンプルコードも紹介します。 キューとは そもそもキューとは、レジに並んだ行列のように、先...2021.08.15競プロ
プログラミング【Python】feedparserでRSSフィード解析 はじめに PythonでRSSフィードの解析をする方法について紹介します。 今回利用するライブラリはfeedparserです。利用する前にインストールしておきます。 pip install feedparser RSSとは RSSは、ニュー...2021.08.09プログラミング
競プロ【AtCoder】Pythonで優先度付きキュー はじめに 優先度付きキューについて、どんなものなのか、Pythonではどう使うか、実際のAtCoderの問題を解いてみたいと思います。 優先度付きキューとは 優先度付きキューとは、以下の操作が行えるデータ構造となります。 要素を追加する ...2021.08.03競プロ
機械学習scikit-learnで正規分布へ変換 はじめに scikit-learnを使って、データを正規分布のように変換する方法を紹介します。 PowerTransformer PowerTransformerでは、Yoe-JohnsonとBox-Coxでの変換が可能です。 Yeo-J...2022.08.07機械学習
kaggle【kaggle】TabNetの使い方 はじめに 最近kaggleでよく目にするTabNetについて、簡単にどんなものなのか、どうやって使うのかについて紹介していきます。 どんなもの何かについては簡単に紹介し、どうやって使うかをメインで紹介していきます。 TabNetとは Tab...2021.08.08kaggle
機械学習NeuralProphetで時系列データ予測 はじめに 時系列データ予測ができるNeuralProphetについて、基本的な使い方を解説したいと思います。 NeuralProphetとは NeuralProphetは、ProphetとAR-Netという自己回帰型のニューラルネットワーク...2021.07.26機械学習
kagglekaggleでよく使う交差検証テンプレ(LightGBM向け) はじめに kaggleなどの機械学習コンペでLightGBMを使ってクロスバリデーションをする際のテンプレとなる型をまとめました。 Kerasでのテンプレは以下でまとめています。内容については重複している部分もあるので、適宜読み飛ばしてくだ...2021.06.28kaggle
機械学習Prophetで時系列データ予測 はじめに 時系列データを簡単に予測できるProphetについて、基本的な使い方と実際に使ってみた具体例を紹介したいと思います。 Prophetとは Prophetとは、Facebookが開発した時系列データの予測ができるライブラリです。 ...2021.06.27機械学習
kagglekaggleやSIGNATEのテーブルデータコンペでとりあえずやること はじめに kaggleやSIGNATEのテーブルデータのコンペに参加したときにとりあえずやってみることをまとめました。 とりあえずやってみることなので、コンペによってはやらなくていいものも含まれている可能性があります。また、この他にもやった...2021.06.21kaggle
kaggle【初心者】0から始めるkaggle入門 はじめに kaggleについて、これから始めたい人や登録したがコンペになかなか参加できない人に向けて、kaggleとは何か、コンペに参加したら何をするかを紹介したいと思います。 kaggleとは kaggleとは、分析コンペが開かれるプラッ...2021.06.19kaggle
kagglekaggleのTitanicコンペでAutoKerasを使ってAutoMLやってみる はじめに こちらの記事はZennで投稿した「kaggleのTitanicコンペでAutoKerasを使ってAutoMLやってみる」の再投稿になります。 普段kaggleでは、Kerasを使うことが多いのですが、AutoKerasというの...2021.05.21kaggle
kaggleKeras Tunerでハイパーパラメータチューニング はじめに こちらの記事はZennで投稿した「Keras Tunerでハイパーパラメータチューニング」の再投稿になります。 kaggleでKerasによるニューラルネットワークモデルのハイパーパラメータチューニンがしたく、Keras Tu...2021.05.20kaggle
kaggle手軽にデータ分析ができるdablを使ってみた はじめに こちらの記事はZennで投稿した「手軽にデータ分析ができるdablを使ってみた」の再投稿になります。 kaggleでdablというライブラリが使われていたので、どんなことができるのか実際に使ってみたいと思います。 dablとは...2021.05.20kaggle