監視Prometheus Certified Associate (PCA) 受験体験記
はじめに Prometheus Certified Associate (PCA)に合格することができたので、合格までの体験記としてまとめたいと思います。 PCAはまだ新しく情報が少ないので、何か参考になれば幸いです。 Prometheus...
監視
監視【Prometheus】リラベルを試してみる
はじめに Prometheusでのリラベルについて、どんな風に設定するのか、何ができるのかをざっくり紹介していきます。 リラベル リラベルとは、モニタリングのターゲットのラベルを書き換えることができる設定です。 ターゲットをスクレイピングす...
Kubernetesminikubeで複数クラスタ構築
はじめに minikubeを使って、複数のクラスタを構築する方法を紹介します。 複数クラスタ構築 下記のように-pオプションを使って、プロファイル名を指定することで、複数のクラスタを構築できます。 minikube start -p {pr...
監視【Prometheus】PromQLのand/or/unlessを理解する
はじめに Prometheusで使うPromQLのand/or/unlessについて紹介していきます。 論理演算子(and/or/unless) PromQLで使える論理演算子は下記の3種類になります。 演算子 式 結果 an...
Kuberneteskubectl get podで”Completed”のPodをフィルタリングする
はじめに kubectl get podでPodのSTATUSがCompletedになっているPodをフィルタして表示する方法を紹介します。 PodのStatusがCompletedでフィルタ 下記のようにPodのSTATUSカラムがCom...
Kubernetes【Kubernetes】StatefulSetについて理解する
はじめに KubernetesのStatefulSetについて、どんなものなのか動かしながら理解していきたいと思います。 StatefulSetとは StatefulSetとは、データベースなどステートフルなPodを管理するオブジェクトにな...
DockerDockerfileからビルドしたイメージを実行したら”permission denied: unknown.”になった
はじめに Dockerfileからビルドしたイメージを実行したところ、permission denied: unknown.というエラーになったので、その原因と対処方法を紹介します。 事象 まずは、今回遭遇した事象について解説します。 下記...
DockerDockerfileからタグをつけてビルドして実行
はじめに Dockerfileを使って、さくっとタグをつけてビルドして、実行する方法を紹介します。 ビルドも実行も本来色々なオプションがありますが、今回はよく使うパターンとして紹介させていただきます。 Dockerfileからタグをつけてビ...
KubernetesHelmでPostgreSQLを動かしてみる
はじめに HelmとHelmfileを使ってPostgreSQLをサクッと構築してみたいと思います。 必要なファイル 必要なファイルは下記の通りです。 . ├── helmfile.yaml └── values.yaml Namespac...
ミドルウェアDocker ComposeでKafkaを構築してどんなものかざっくり理解する
はじめに Docker ComposeでKafkaを構築して、Kafkaがどんなものかをざっくり理解していきます。 Kafkaとは Kafka(Apache Kafka)とは、イベントストリーミングプラットフォーム（ミドルウェア）になります...
Kubernetesminikubeで複数クラスタ構築
はじめに minikubeを使って、複数のクラスタを構築する方法を紹介します。 複数クラスタ構築 下記のように-pオプションを使って、プロファイル名を指定することで、複数のクラスタを構築できます。 minikube start -p {pr...
Kuberneteskubectl get podで”Completed”のPodをフィルタリングする
はじめに kubectl get podでPodのSTATUSがCompletedになっているPodをフィルタして表示する方法を紹介します。 PodのStatusがCompletedでフィルタ 下記のようにPodのSTATUSカラムがCom...
Kubernetes【Kubernetes】StatefulSetについて理解する
はじめに KubernetesのStatefulSetについて、どんなものなのか動かしながら理解していきたいと思います。 StatefulSetとは StatefulSetとは、データベースなどステートフルなPodを管理するオブジェクトにな...
KubernetesHelmでPostgreSQLを動かしてみる
はじめに HelmとHelmfileを使ってPostgreSQLをサクッと構築してみたいと思います。 必要なファイル 必要なファイルは下記の通りです。 . ├── helmfile.yaml └── values.yaml Namespac...
CI/CDHelmでローカルにSonarQubeを構築してみる
はじめに HelmでローカルにSonarQubeを構築してみます。 今回はHelmとhelmfileを使います。helmfileについては、下記で解説していますが、Helmチャートを宣言的にデプロイできるツールです。 SonarQubeと...
Kubernetes【Kubernetes】Strategic Merge Patchについてざっくり理解する
はじめに Kubernetesで使われるStrategic Merge Patchについて、ざっくり理解していきます。 また、Strategic Merge Patchで使われる命令文の中からKustomizeでサポートされているものを紹介...
Kubernetes【Kubernetes】HPAを使いつつ手動でスケールさせる
はじめに HPA(Horizontal Pod Autoscaler)を使っている場合に、DeploymentのPodの数を手動でスケールアウト、スケールインする方法を紹介します。 HPAを使いつつ手動スケール HPAを使っている場合は、ス...
Kuberneteskubectl patchでリソース更新
はじめに kubectl patchについて、実際の例を見ながら使い方を紹介していきます。 kubectl patch kubectl patchはStrategic Merge Patch、JSON Merge Patch、JSON Pa...
Kubernetes【kustomize】特定の環境だけbaseのリソースを削除する
はじめに Kustomizeのbaseディレクトリにあるリソースを特定のoverlaysの環境からのみ削除する方法を紹介します。 背景 Kustomizeを使っていて、基本的にはどの環境にもデプロイするリソースはbase配下にマニフェストを...
Kubernetes【kubectl status】リソースの状態を取得する
はじめに kubectl statusを使って、Kubernetesリソースの状態を取得する方法を紹介します。 kubectl-status kubectl statusは、Kubernetesのリソースの状態をわかりやすく表示してくれるk...
プログラミング【Pandas】DataFrameでIndexが重複している行を削除する
はじめに PandasのDataFrameからIndexが重複している行を削除する方法を紹介します。 Indexが重複している行を削除 pandas.Index.duplicatedを使ってIndexが重複した行を削除します。 やり方は下記...
プログラミングseabornで複数のグラフを並べて描画する
はじめに seabornでsubplotを使って、複数のグラフを並べて描画する方法を紹介します。 テンプレ テンプレとなるコードは下記の通りです。 ここでは4行3列の12個のグラフを表示するパターンになっています。 import seabo...
競プロ【AtCoder】Python標準ライブラリarrayの使い方
はじめに Pythonの標準ライブラリであるarrayについて簡単な使い方をまとめました。また、AtCoderでarrayを利用することでACできる問題があったので、そちらも合わせて紹介していきます。 arrayとは Pythonの標準ライ...
競プロ【AtCoder】Pythonで二分探索
はじめに Pythonで二分探索を実装するためのテンプレとAtCoderの問題をまとめました。 Pythonで二分探索 二分探索とは、検索する問題を半分に分割しながら解を探しだすアルゴリズムです。 Pythonでソートされたリストに対して、...
競プロ【AtCoder】bisectでリストを二分探索する
はじめに bisectの使い方とbisectを使うAtCoderの問題をまとめました。 bisectの使い方 bisectは、ソートされたリストにソートされた状態を保ちながら挿入、挿入する場所を求めることができるライブラリです。 二分探索を...
プログラミング【Python】リストと辞書をソートする
はじめに Pythonでのソートに関して、リストのソートや辞書のソートの書き方をまとめました。 sortとsoted sortはlist型のメソッドになります。元のリストがソートされます。 sortedはソートしたリストを生成します。lis...
プログラミング【Python】datetimeの基本的な使い方
はじめに Pythonで日付や時刻を操作できるdatetimeというライブラリの基本的な使い方を紹介します。 datetimeでは日付や時刻を表したり、それらの計算ができます。 データ型 datetimeで主に扱うデータは以下になります。...
競プロ【AtCoder】Pythonでキューを使う
はじめに Pythonで使えるキューを理解して、AtCoderの問題で使いこなせるように解説していきます。 実際にAtCoderの問題でキューを使ったサンプルコードも紹介します。 キューとは そもそもキューとは、レジに並んだ行列のように、先...
プログラミング【Python】feedparserでRSSフィード解析
はじめに PythonでRSSフィードの解析をする方法について紹介します。 今回利用するライブラリはfeedparserです。利用する前にインストールしておきます。 pip install feedparser RSSとは RSSは、ニュー...
競プロ【AtCoder】Pythonで優先度付きキュー
はじめに 優先度付きキューについて、どんなものなのか、Pythonではどう使うか、実際のAtCoderの問題を解いてみたいと思います。 優先度付きキューとは 優先度付きキューとは、以下の操作が行えるデータ構造となります。 要素を追加する ...
機械学習scikit-learnで正規分布へ変換
はじめに scikit-learnを使って、データを正規分布のように変換する方法を紹介します。 PowerTransformer PowerTransformerでは、Yoe-JohnsonとBox-Coxでの変換が可能です。 Yeo-J...
kaggle【kaggle】TabNetの使い方
はじめに 最近kaggleでよく目にするTabNetについて、簡単にどんなものなのか、どうやって使うのかについて紹介していきます。 どんなもの何かについては簡単に紹介し、どうやって使うかをメインで紹介していきます。 TabNetとは Tab...
機械学習NeuralProphetで時系列データ予測
はじめに 時系列データ予測ができるNeuralProphetについて、基本的な使い方を解説したいと思います。 NeuralProphetとは NeuralProphetは、ProphetとAR-Netという自己回帰型のニューラルネットワーク...
kagglekaggleでよく使う交差検証テンプレ(LightGBM向け)
はじめに kaggleなどの機械学習コンペでLightGBMを使ってクロスバリデーションをする際のテンプレとなる型をまとめました。 Kerasでのテンプレは以下でまとめています。内容については重複している部分もあるので、適宜読み飛ばしてくだ...
機械学習Prophetで時系列データ予測
はじめに 時系列データを簡単に予測できるProphetについて、基本的な使い方と実際に使ってみた具体例を紹介したいと思います。 Prophetとは Prophetとは、Facebookが開発した時系列データの予測ができるライブラリです。 ...
kagglekaggleやSIGNATEのテーブルデータコンペでとりあえずやること
はじめに kaggleやSIGNATEのテーブルデータのコンペに参加したときにとりあえずやってみることをまとめました。 とりあえずやってみることなので、コンペによってはやらなくていいものも含まれている可能性があります。また、この他にもやった...
kaggle【初心者】0から始めるkaggle入門
はじめに kaggleについて、これから始めたい人や登録したがコンペになかなか参加できない人に向けて、kaggleとは何か、コンペに参加したら何をするかを紹介したいと思います。 kaggleとは kaggleとは、分析コンペが開かれるプラッ...
kagglekaggleのTitanicコンペでAutoKerasを使ってAutoMLやってみる
はじめに こちらの記事はZennで投稿した「kaggleのTitanicコンペでAutoKerasを使ってAutoMLやってみる」の再投稿になります。 普段kaggleでは、Kerasを使うことが多いのですが、AutoKerasというの...
kaggleKeras Tunerでハイパーパラメータチューニング
はじめに こちらの記事はZennで投稿した「Keras Tunerでハイパーパラメータチューニング」の再投稿になります。 kaggleでKerasによるニューラルネットワークモデルのハイパーパラメータチューニンがしたく、Keras Tu...
kaggle手軽にデータ分析ができるdablを使ってみた
はじめに こちらの記事はZennで投稿した「手軽にデータ分析ができるdablを使ってみた」の再投稿になります。 kaggleでdablというライブラリが使われていたので、どんなことができるのか実際に使ってみたいと思います。 dablとは...