Syslogエクスポートの概要
Syslog エクスポートの概要
CubeCOSは、OpenStackサービス、Ceph、カーネル、インフラストラクチャコンポーネントなど、スタック全体からログを収集し、集中監視や長期保存のために外部のsyslogサーバーへ転送することができます。
Syslogのエクスポートは、次のような組織において役立ちます：
- SIEMまたはログ管理プラットフォーム（Splunk、Graylog、ELKスタックなど）を使用して、複数のシステムからのログを集約します
- コンプライアンスや監査の目的で、ログをクラスター外に保存する必要があります
- 制御ノードに直接アクセスすることなく、CubeCOSをリモートで監視する必要がある
仕組み
CubeCOSは、ログの処理とルーティングにLogstashを使用しています。 Logstashは、内部のKafkaトピックからログイベントを読み取り、設定された変換を適用した上で、その出力をUDPまたはTCP経由でsyslogサーバーに転送します。
Export data flow
CubeCOS components → Kafka → Logstash → Syslog server
各ログソースは、Kafkaのトピックにデータを配信します。 Logstashは、パイプラインを通じてこれらのトピックを取り込み、syslog出力プラグインに書き込みます。 複数のパイプラインを並行して実行できます。宛先やログの種類ごとに1つずつ設定します。
何がエクスポートされるか
Syslogのエクスポートには、以下のコンポーネントからのログが含まれます：
インフラ
- システムログ (
/var/log/messages) - カーネルイベント
- Ceph分散ストレージ
- ペースメーカ・クラスタの管理
- Zookeeper 調整サービス
OpenStack サービス
- ノヴァ、シンダー、ニュートロン、バービカン、マニラ、フリーザー、キーストーン、サハラ、ヒート、マサカリ
監視と可観測性
- Telegraf、Grafana、Ceilometer、Monasca、InfluxDB、Kapacitor、Elasticsearch
認証
- Keystone 認証ログ (
/var/log/httpd/keystone_access.log)
その他
- Apache HTTP サーバー（/var/log/httpd/、Keystone アクセスログを含む）
- RabbitMQ メッセージキュー
- Logstash自体