オブザーバビリティ（Observability）向上がもたらす迅速な障害復旧とサービス改善

アプリケーション → メトリクスエージェント → メトリクスバックエンド → 可視化・アラート

# Prometheus設定例 (prometheus.yml)
global:
  scrape_interval: 15s
  evaluation_interval: 15s

scrape_configs:
  - job_name: 'api-service'
    static_configs:
      - targets: ['api-service:8080']
  - job_name: 'db-service'
    static_configs:
      - targets: ['db-service:8080']
  - job_name: 'node-exporter'
    static_configs:
      - targets: ['node-exporter:9100']

// SpringBootアプリケーションでのメトリクス設定例
@Configuration
public class MetricsConfig {
    @Bean
    MeterRegistryCustomizer<MeterRegistry> metricsCommonTags() {
        return registry -> registry.config().commonTags("application", "payment-service");
    }
}

// サービスクラスでのメトリクス測定例
@Service
public class PaymentService {
    private final MeterRegistry meterRegistry;
    
    public PaymentService(MeterRegistry meterRegistry) {
        this.meterRegistry = meterRegistry;
    }
    
    public void processPayment(Payment payment) {
        Timer.Sample sample = Timer.start(meterRegistry);
        try {
            // 支払い処理のロジック
            meterRegistry.counter("payment.success").increment();
        } catch (Exception e) {
            meterRegistry.counter("payment.error").increment();
            throw e;
        } finally {
            sample.stop(meterRegistry.timer("payment.duration"));
        }
    }
}

アプリケーション → ログエージェント → ログ集約・保存 → 検索・分析

{
  "timestamp": "2025-03-15T12:34:56.789Z",
  "level": "ERROR",
  "service": "payment-service",
  "trace_id": "abc123def456",
  "user_id": "user_42",
  "message": "Payment processing failed",
  "error": {
    "code": "INSUFFICIENT_FUNDS",
    "details": "Account balance too low for transaction"
  },
  "context": {
    "payment_id": "pmt_789xyz",
    "amount": 5000,
    "currency": "JPY"
  }
}

<!-- logback-spring.xml -->
<configuration>
  <appender name="JSON_FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
    <file>logs/application.json</file>
    <encoder class="net.logstash.logback.encoder.LogstashEncoder">
      <includeMdc>true</includeMdc>
      <customFields>{"application":"payment-service","environment":"production"}</customFields>
    </encoder>
    <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
      <fileNamePattern>logs/application.%d{yyyy-MM-dd}.json</fileNamePattern>
    </rollingPolicy>
  </appender>
  
  <root level="INFO">
    <appender-ref ref="JSON_FILE" />
  </root>
</configuration>

サービスA → サービスB → サービスC → ... → データベース
   ↓           ↓           ↓
トレースデータ → 集約 → 可視化・分析

// OpenTelemetryの初期化
OpenTelemetrySdk openTelemetry = OpenTelemetrySdk.builder()
    .setTracerProvider(sdkTracerProvider)
    .setPropagators(ContextPropagators.create(W3CTraceContextPropagator.getInstance()))
    .build();

Tracer tracer = openTelemetry.getTracer("com.example.payment");

// トレースの作成と利用
public void processOrder(Order order) {
    Span span = tracer.spanBuilder("processOrder").startSpan();
    try (Scope scope = span.makeCurrent()) {
        span.setAttribute("order.id", order.getId());
        span.setAttribute("order.amount", order.getAmount());
        
        // 処理ロジック
        paymentService.charge(order);
        inventoryService.updateStock(order);
        
    } catch (Exception e) {
        span.recordException(e);
        span.setStatus(StatusCode.ERROR, e.getMessage());
        throw e;
    } finally {
        span.end();
    }
}

// リクエストフィルターでの相関ID設定例（Spring Boot）
@Component
public class CorrelationIdFilter extends OncePerRequestFilter {
    
    @Override
    protected void doFilterInternal(HttpServletRequest request, HttpServletResponse response, 
                                     FilterChain filterChain) throws ServletException, IOException {
        
        String correlationId = extractCorrelationId(request);
        MDC.put("correlation_id", correlationId);
        response.addHeader("X-Correlation-ID", correlationId);
        
        try {
            filterChain.doFilter(request, response);
        } finally {
            MDC.remove("correlation_id");
        }
    }
    
    private String extractCorrelationId(HttpServletRequest request) {
        String correlationId = request.getHeader("X-Correlation-ID");
        return correlationId != null ? correlationId : UUID.randomUUID().toString();
    }
}

// 主要なメトリクスを定義
@Configuration
public class MetricsConfig {
    @Bean
    public TimedAspect timedAspect(MeterRegistry registry) {
        return new TimedAspect(registry);
    }
}

// 重要なメソッドに計測を追加
@Service
public class OrderService {
    @Timed(value = "order.processing.time", description = "注文処理時間")
    public OrderResult processOrder(Order order) {
        log.info("注文処理開始: {}", order.getId());
        // 処理ロジック
        log.info("注文処理完了: {}", order.getId());
        return result;
    }
}

# Python + Prometheusデータを用いた異常検知モデルの簡略例
import pandas as pd
from sklearn.ensemble import IsolationForest

# Prometheusから取得したデータをDataFrameに変換
df = pd.DataFrame(prometheus_data)

# 異常検知モデルの訓練
model = IsolationForest(contamination=0.05)
model.fit(df[['latency', 'error_rate', 'throughput']])

# 新しいデータポイントの異常スコアを計算
anomaly_scores = model.decision_function(new_data)
anomalies = model.predict(new_data)

// OpenTelemetryを使用した統合アプローチ（Java）
@Bean
public OpenTelemetry openTelemetry() {
    SdkMeterProvider meterProvider = SdkMeterProvider.builder()
        .registerMetricReader(PeriodicMetricReader.builder(
            PrometheusHttpServer.builder().build()).build())
        .build();
        
    SdkTracerProvider tracerProvider = SdkTracerProvider.builder()
        .addSpanProcessor(BatchSpanProcessor.builder(
            OtlpGrpcSpanExporter.builder()
                .setEndpoint("http://collector:4317")
                .build())
            .build())
        .build();
        
    SdkLoggerProvider loggerProvider = SdkLoggerProvider.builder()
        .addLogRecordProcessor(BatchLogRecordProcessor.builder(
            OtlpGrpcLogRecordExporter.builder()
                .setEndpoint("http://collector:4317")
                .build())
            .build())
        .build();
    
    return OpenTelemetrySdk.builder()
        .setMeterProvider(meterProvider)
        .setTracerProvider(tracerProvider)
        .setLoggerProvider(loggerProvider)
        .setPropagators(ContextPropagators.create(
            W3CTraceContextPropagator.getInstance()))
        .build();
}

// 動的サンプリングの実装例（Java + OpenTelemetry）
@Component
public class AdaptiveSampler implements Sampler {
    private final AtomicDouble samplingRatio = new AtomicDouble(0.1); // デフォルト10%
    
    @Scheduled(fixedRate = 60000) // 1分ごとに調整
    public void adjustSamplingRate() {
        // システム負荷に基づいてサンプリング率を調整
        double currentCpuLoad = getSystemCpuLoad();
        if (currentCpuLoad > 0.8) {
            samplingRatio.set(0.05); // 高負荷時は5%にする
        } else if (currentCpuLoad < 0.3) {
            samplingRatio.set(0.2); // 低負荷時は20%にする
        } else {
            samplingRatio.set(0.1); // 通常時は10%
        }
    }
    
    @Override
    public SamplingResult shouldSample(Context context, String traceId, 
                                        String name, SpanKind spanKind) {
        // エラーを含むスパンは常にサンプリング
        if (containsError(context)) {
            return SamplingResult.recordAndSample();
        }
        
        // それ以外は現在のサンプリング率で判断
        return Math.random() < samplingRatio.get() 
            ? SamplingResult.recordAndSample() 
            : SamplingResult.drop();
    }
}

// ログマスキングの実装例（Spring Boot + Logback）
public class MaskingConverter extends MessageConverter {
    private static final Pattern CREDIT_CARD_PATTERN = 
        Pattern.compile("\\b(?:\\d{4}[- ]?){3}\\d{4}\\b");
    private static final Pattern EMAIL_PATTERN = 
        Pattern.compile("\\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\\.[A-Za-z]{2,}\\b");
    
    @Override
    public String convert(ILoggingEvent event) {
        String message = event.getFormattedMessage();
        
        // クレジットカード番号をマスク
        message = CREDIT_CARD_PATTERN.matcher(message)
            .replaceAll("XXXX-XXXX-XXXX-XXXX");
        
        // メールアドレスをマスク
        message = EMAIL_PATTERN.matcher(message)
            .replaceAll("email@masked.com");
        
        return message;
    }
}