Kubernetes の検索結果:
…ランダムに選ばれる Kubernetes の HPA で scale-in が発動するとき、どの Pod を停止対象とするかは基本的にランダムに(あるいは Pod 起動順などの汎用ルールで)決まります。「いまこの Pod は団体 X の取り込みを処理中だから残す」といった処理状況は考慮されません。 制約 2: graceful shutdown も現実的でない 「terminationGracePeriodSeconds を長く取って、処理が終わってから止まればよい」というア…
…iveConとは? Kubernetes及びCloud Nativeな技術についての知見共有が行われるカンファレンスです。 1年に1回EUとNA(北米)でそれぞれ開催されるものが一番大きく、他にも中国やインドなどでも開催されています。 KubeCon + CloudNativeCon Japanは2025年初開催され、今年2回目が開催されます。 EUは去年12000人ほど来場し、今年は2万人いくか?みたいな話もありました(正式な数字は後日公式から出るレポート待ちです)。 今回…
…kflows とは、Kubernetes 上で並列ジョブを調整するためのオープンソースのワークフローエンジンです。 Kubernetes CRD として実装されており、各タスクがコンテナとして動作します。 『スタディサプリ』ではジョブ基盤として Argo Workflows を利用しており、今回の字幕生成ワークフローも Argo Workflows で実装しています。 参考: JenkinsからArgo Workflowsへの移行話 Argo Workflows は、生成 A…
…できない これまで Kubernetes のコストを可視化するツールである Kubecost が導入されており、Pod のコストを確認できるようになっていました。 しかし、Kubecost は操作が複雑で、無料バージョンではデータの保持期間に制限があるなどの課題がありました。 継続性を持たせるには、日常的に利用しているモニタリングツールの Datadog で確認したいというニーズがありました。 SRE が Pod のコストを分析できない SRE では AWS のコストを毎月確…
…ら独自ツール経由で Kubernetes のジョブを作成し、実行する形でした。 (ただし少数派として Jenkins インスタンス上で実行するジョブも存在していました) 以下は独自ツール経由で Kubernetes のジョブとして実行するスクリプトの例です。 YAML_FILE="job_`date +%Y%m%d_%H%M%S`.yaml" # 汎用的な CronJob のテンプレートから Job の manifest を出力し、 # "kube-job-patcher" …
…ile │ └── kubernetes/ │ └── マニフェスト... ... 各マイクロサービスにはオーナーシップがあります。サービスオーナーは、自分が所有するマイクロサービスに対して技術選択の決定権を持ち、保守運用の責務を負っています。一方で、開発組織全体で技術選択や技術的負債などの横断的な問題(横断的関心事)を改善していくために、技術戦略グループを設けています。詳しくは下記を参照ください。 blog.studysapuri.jp GitHub Actions につい…
…! 私たちはここ数年KubernetesのNode管理を楽に・効率的に行おうとKarpenterの導入に励んできました。 Karpenter導入時のトラブルに関するブログを書いてから1年、 blog.studysapuri.jp 私たちは「Amazon EKS on AWS Fargate(以降EKS on Fargate)」の導入を試みることでさらにNode管理を楽にすることをめざしました。 ようやく本番環境で安定稼働してきましたが、これまでに色々と試行錯誤したのでその知見…
…壊して、直して学ぶ Kubernetes入門」という書籍の商業出版を経験している @aoi1 らをはじめとした心強いメンバーたちが多数レビューを申し出てくれて、執筆に挑むこととなりました。 www.shoeisha.co.jp 執筆、大変だったこと ここからは、どんなことが今回の記事の執筆において個人的に大変だったか、軽く振り返ってみたいと思います。 「原稿」と向き合う ダメな人間であることを吐露するようですが、自分は締め切りに追われないとなかなか動き出せないタイプです。 で…
…0.9% HPA (KubernetesのPod Autoscaler)の設定を変更したため、その影響を打ち消すように補正して計算した値 (かつ比較的差が付いていない時間帯を恣意的に選択した)なのですが、ここまで減るとは思っていませんでした。あくまで推測にはなりますが、YJITによりCPU使用率が下がった結果として必要なコンテナ数が減ったことが寄与しているように思います。 総メモリ使用量の変化 総CPUリソース unicorn, 5 workers / container: …
…規サービス対応分の Kubernetes の rollout, service 設定追加 ingress リソースの追加 reverse-proxy に関する設定 などは、もともと汎用的にチェックリスト化できていたものについては指示を受けつつ、ファイルを揃えていくことができたものの、先に述べた図のような新しい設計にしたことで変化していたものとして、もう 1 つ、見落としていたものがありました。・・それは、コンポーネントから学習コンテンツの GitHub リポジトリを参照すると…
…スタディサプリでは、Kubernetesを利用しているのですが、Nodeの運用自動化のために2023年3月から本番環境を含む全環境でKarpenterを導入しています。 Karpenterのおかげで開発者体験を向上させることができたり、コスト削減を行うことができました。便利で良いことが沢山ある一方、本番環境で問題が発生するなどいくつかハマったこともありました。 本ブログでは私たちがハマったポイントを通じて、Karpenterの導入を検討している方、あるいは既に本番環境でKar…
…ため、各サービスの Kubernetes manifest と Envoy の運用はサービスを運用しているアプリケーションエンジニアのチームが責任を負い、SREチームはそのフォローをするという体制になっております。 参考:Kubernetes導入で実現したい世界とその先にあるMicroservices しかし、全てのチームに Kubernetes と Envoy に強い人がいるというわけではなく熟練度はチーム毎にばらつきがあります。 また、開発チームが増えていく中で、SREチ…
…ます。 そのためにはKubernetesで運用しているマイクロサービスのコストをチーム単位に集計できる構造が必要になってきます。そこでKubecostと呼ばれるツールを導入することにより、マイクロサービスごとにかかるコストの監視ができるのか調査しました。 Kubecostとは Kubecostは2019年に公開されて、Kubernetesクラスターの運用にかかるコストをアプリケーション、プロジェクト、チーム単位に集計して監視することができるツールです。 Kubecostの主な…
…していることです。 Kubernetes環境 スタディサプリでは、インフラ基盤を全てKubernetesで構築しています。 本番環境や検証環境だけでなく、個人の開発環境までもです。各人に対して専用のNamespaceが発行されています。 スタディサプリのシステムは数多くのアプリケーションが複雑に連携して成り立っています。もしホストマシン上にこの開発環境を構築しようとすると、多くのマシンリソースを消費してしまうのはもちろんのこと、各アプリケーションの言語 / ライブラリバージョ…
…で動いております。 Kubernetes を使うようになっていった歴史は他のブログ記事でも紹介されています。 Kubernetes導入で実現したい世界とその先にあるMicroservices Kubernetes Meetup Tokyo #14 で「Quipper のマイクロサービス化への道のり」というタイトルで登壇しました Self-Hosted Cluster から EKS への移行と Platform の Production Readiness いろいろな環境 スタ…
…ction以外の社内kubernetesクラスタにデプロイ済みで、社内の誰でもいつでも気軽に実際に動作確認できる形になっています。 わかりやすく過去から将来へのタイムラインを図で示すとこんな感じです。 タイムライン prototypeはujihisaが最もラクに何も考えずさくっと作れるものにするため、Ruby on Railsで作りました。Rails最高ですよね、大好きです。いっぽう実際に清書するときにはチームでの長期的なメンテを考え、別の言語で書かれる可能性が高いです。具体…
…CS Task や Kubernetes Job を呼び出せる Step Functions 自体の監視やバージョンアップが不要 Terraform で構成管理できる Datadog で state machine の実行結果や所要時間をモニタリングできる Cons 複雑な条件判断は実装できない 複雑なワークフローを記述するにはある程度の慣れが必要なため、組織で継続的にメンテナンスしていくのが難しい ワークフローの JSON を Pull Request 上でレビューするのが…
… "Job" や "Kubernetes" などのサブ領域があり、そこから個別のミッションにつながっている様子がわかります。 基本的には設定されたミッションを記載しますが、それ以外に、今期誰もやる予定になっていないけれど関連するトピックを自由に生やしたりしています。 また、各ミッションにはコメントとして設定の背景を記載しています。 以下は僕の予算計画についてのミッションの背景です。*7 ミッションツリーを作ったきっかけ きっかけは偶発的で、ミッションの設定に悩んでいた時に、部…
…リでは AWS の Kubernetes クラスタでサービスを開発および運用しています。 また、Kubernetes クラスタ上で GitHub Actions Self-hosted Runner を導入しています。 これらの仕組みを用いて前述の課題を解決することを考えました。 負荷試験では以下の技術スタックを採用しています。 負荷生成 シナリオ (Gatling) 実行環境 (GitHub Actions self-hosted runner on Kubernetes)…
…いえ、同じ社内なのでKubernetesやDocker Composeなどの開発環境は共通しているし、他のチームのエンジニアともSlackやGitHub上で馴染みがある人が多いです。そのため、転職と比べてスタートダッシュが切りやすいこともメリットの一つです。 また、チームを変えるとチーム開発のやり方、使用している技術スタック、解くべき課題や、課題の性質も全て違うので、経験の幅を増やし、エンジニアとして良いキャリアを積むという観点でもお得感が強いです。 アンラーニングができる …
…を保っています。 SREチームの協力も得て、Kubernetes 上の Github Actions Self-hosted Runner で負荷試験をワンストップで実行できる仕組みにより、ボトルネックの発見と解決を速いサイクルで進めることができました。その改善に合わせて他チームでもGatlingを使用した負荷試験の活用につながっています。今後は、QAチームなどとも連携を強化しつつ性能評価などの品質管理へと接続していきたいと思っていっます。 皆様も快適な負荷試験を!以上です。
…ons をベースに、Kubernetes Job を実行する仕組みを、Terraform module を利用してコードとして定義できるようなものなどを検討しています AWS の複数アカウント化、Organization 化、SSO 対応 組織やプロダクトが大きくなっていく中で、セキュリティの重要性は上がり続けています。 現状は本番環境とそれ以外が VPC では分離されているものの、AWS アカウントは単一のものとなってしまっています セキュリティのため、それぞれの環境に対し…
…ンについても同様に Kubernetes を用いたセルフサービスのためのプラットフォームを提供しており、新しいアプリケーションの構築も、それらの継続的なデプロイも、SRE チームの手を借りることなくできるようになっています。 CI/CD 等のためのツール類を含むプラットフォームは、ソースコードという形で成果物としてある程度目に見えやすいものですが、ツールだけ用意すれば自己完結チームとして開発が回り出すものでもありません。そもそも何故そのような形で開発をするのかということに対す…
…ner を運用する Kubernetes クラスタで Self-hosted Runner を運用する また、Self-hosted Runner を実行するインスタンスやコンテナを管理する方法も考える必要があります。 GitHub のドキュメントでは OS に手作業で Self-hosted Runner をインストールする方法が説明されていますが、この方法ではバージョンアップや台数追加などの日常運用に耐えられないと考えられます。 そこで Self-hosted Runne…
…目で行われました。 Kubernetes Cluster GitOps AutoScaling*6 SRE Culture*7 Architecture overview Observability Unicorn MongoDB AWS Secrets Manager monorepo CI/CD 各テーマはそれぞれ得意なメンバーがセッションオーナーとなり説明を行いました。 こういったものは、当然その一回限りでは完全に中身を理解することは難しいと思います。しかし、ここで"一…
…m 定義ファイルと Kubernetes マニフェストファイルはそれぞれ別のリポジトリで管理しているため、後者を選択しました。 最終的に、新しいクラスタを構築する手順は以下のようになりました。 SRE が Terraform で 新しい EKS クラスタを追加するための Pull Request を作成する SRE が Pull Request をマージする AWS CodeBuild で terraform apply が実行されて、自動的に以下のリソースが作成される 新し…
…uipper では Kubernetes Horizontal Pod Autoscaler (以下、HPA) を利用して Pod のオートスケーリングを実現しています。 HPA は非常に便利で、ほとんどのトラフィック増減に対応できます。しかし、オートスケーリングの宿命ではありますが、突発的なアクセス、いわゆるスパイクアクセスにはどうしても対応できません。CPU 利用率が急激に上がり、HPA がすぐに Desired Replicas を増やしたとしても、Node*1 のスケ…
…この仕組みについてはKubernetes 導入で実現したい世界とその先にある Microservices / モノレポの導入をご覧ください。 *4:Cluster 名に "staging" が含まれているものを jq の select でフィルタリングしています。 *5:Western Indonesian Time (Standard Time) *6:Philippine Time (Standard Time) *7:Pacific Daylight Time / Pa…
こんにちは。 SRE の @suzuki-shunsuke です。 Docker Hub から Docker image を Pull する際に Rate Limit に引っかからないように対応した話について書きます。 anonymous user に対する Docker Hub の Rate Limit は段階的に導入されていて、 2020-11-02 9am Pacific Standard Time に完全に導入されるそうです。 https://docs.docker.…
…クラスタですべての Kubernetes Resources が Running であることを確認する 1% のトラフィックを新クラスタに流す Datadog Dashboard でエラーレートを確認する 2 と 3 を繰り返して徐々にトラフィックを増やしていく。今回は 10%, 20%, 50%, 100% の刻みで増やしました。 トラフィックの増加は10分ごとに行ったので、合計1時間弱かかりました。 学んだこと: 日中にクラスタ切り替えを行うことができる ALB Weig…