WissensdatenbankPrüfungszentrum
DEDeutsch
Sprache wählen13

CKTIS / JavaScript

AudioContext: Ton eines Medienelements analysieren und abspielen

Leite den Ton eines Audio- oder Videoelements über einen Analysator zur Audioausgabe und steuere den Audiographen getrennt von der Medienwiedergabe.

Version: ECMAScript 2024 and the current web platform; runtime support varies

Syntax

const ctx = new AudioContext();
const analyser = ctx.createAnalyser();
const source = ctx.createMediaElementSource(mediaElement); // HTMLMediaElement
source.connect(analyser);
analyser.connect(ctx.destination);
// In an async handler for a user action:
await Promise.all([ctx.resume(), mediaElement.play()]);
const state = ctx.state;

Rufe die Methoden auf einer AudioContext-Instanz auf, nicht auf dem Konstruktor. Sie erbt createAnalyser(), state und destination von BaseAudioContext. createAnalyser() benötigt keine Argumente und liefert einen AnalyserNode, der Wellenform und Spektrum bereitstellt, ohne das durchgeleitete Signal zu verändern. Verwende für Wellenformdaten ein Uint8Array der Länge fftSize; frequencyBinCount ist die Anzahl der Spektralwerte und beträgt die Hälfte von fftSize.

createMediaElementSource(element) erwartet ein vorhandenes HTMLMediaElement (audio oder video), keine URL. Die Methode liefert einen MediaElementAudioSourceNode und leitet den Ton des Elements in den Graphen um. Verbinde die Quelle mit dem Analysator und diesen mit ctx.destination. Diese schreibgeschützte Eigenschaft liefert den AudioDestinationNode, den letzten Ausgang des Echtzeitkontexts. Der Analysator kann auch ohne Ausgangsverbindung messen, doch auf diesem Signalweg ist dann nichts zu hören. Verwende den Quellknoten erneut: Eine zweite Zuordnung desselben Elements löst InvalidStateError aus, und das Trennen des Knotens hebt die Zuordnung nicht auf.

resume() benötigt keine Argumente und setzt die Uhr und Verarbeitung des Graphen fort, nicht die Medienwiedergabe. Das zurückgegebene Promise wird beim Fortsetzen erfüllt und bei geschlossenem Kontext zurückgewiesen. OfflineAudioContext.resume() ist eine eigene Methode für das Fortsetzen des Offline-Renderings. Rufe in einem durch einen echten Klick ausgelösten Handler resume() und element.play() vor dem ersten await auf und behandle Ablehnungen wie NotAllowedError von play(). element.pause() pausiert das Medium.

Die schreibgeschützte Eigenschaft state beschreibt den Kontext: running bedeutet, dass der Graph verarbeitet wird, suspended steht für eine Pause (auch durch Autoplay-Regeln), closed ist endgültig, und interrupted zeigt eine externe Unterbrechung an, die Browser unterschiedlich behandeln. Beobachte statechange; running garantiert keinen hörbaren Ton. Bei Medien, die ohne CORS-Freigabe von einem anderen Ursprung geladen wurden, liefert der Quellknoten Stille. Setze für eine öffentliche Datei von einem anderen Ursprung element.crossOrigin = 'anonymous' vor src und konfiguriere die CORS-Header des Servers. Dies sind Webplattform-APIs, keine Funktionen von ECMAScript 2024; die Unterstützung variiert je nach Laufzeitumgebung. Wenn der Kontext nicht mehr benötigt wird, gibt close() seine System-Audioressourcen frei.

Beispiele

<!doctype html>
<html lang="en">
<head>
  <meta charset="utf-8">
  <title>Play and analyse</title>
</head>
<body>
  <button id="play" type="button">Play and analyse</button>
  <script>
    (() => {
      function makeTone() {
        const rate = 8000;
        const wav = new Uint8Array(44 + rate);
        const view = new DataView(wav.buffer);
        const text = (offset, value) => wav.set(new TextEncoder().encode(value), offset);

        // One second of mono, unsigned 8-bit PCM in a WAV container.
        text(0, 'RIFF');
        view.setUint32(4, 36 + rate, true);
        text(8, 'WAVEfmt ');
        view.setUint32(16, 16, true);
        view.setUint16(20, 1, true);
        view.setUint16(22, 1, true);
        view.setUint32(24, rate, true);
        view.setUint32(28, rate, true);
        view.setUint16(32, 1, true);
        view.setUint16(34, 8, true);
        text(36, 'data');
        view.setUint32(40, rate, true);
        for (let i = 0; i < rate; i++) {
          wav[44 + i] = 128 + Math.round(12 * Math.sin(2 * Math.PI * 440 * i / rate));
        }
        return new Blob([wav], { type: 'audio/wav' });
      }

      const button = document.getElementById('play');
      button.addEventListener('click', async () => {
        button.disabled = true;
        const media = new Audio();
        let ctx;
        let url;
        try {
          ctx = new AudioContext();
          const analyser = ctx.createAnalyser();
          analyser.fftSize = 1024;
          const source = ctx.createMediaElementSource(media);
          source.connect(analyser);
          analyser.connect(ctx.destination);

          const finished = new Promise((resolve) => {
            media.onended = () => resolve(true);
            media.onerror = () => resolve(false);
          });
          url = URL.createObjectURL(makeTone());
          media.src = url;
          await Promise.all([ctx.resume(), media.play()]);

          const samples = new Uint8Array(analyser.fftSize);
          analyser.getByteTimeDomainData(samples);
          console.log(`state=${ctx.state}; samples=${samples.length}`);
          if (!(await finished)) throw new Error('Media failed during playback');
        } catch (error) {
          console.error(error);
        } finally {
          media.pause();
          media.removeAttribute('src');
          media.load();
          if (url !== undefined) URL.revokeObjectURL(url);
          if (ctx && ctx.state !== 'closed') {
            await ctx.close().catch((error) => console.error(error));
          }
        }
      }, { once: true });
    })();
  </script>
</body>
</html>

Ergebnis

state=running; samples=1024

Speichere das Beispiel als `index.html` und rufe es im Browser über einen lokalen HTTP-Server auf. Öffne die Entwicklerkonsole und klicke auf der Seite auf `Play and analyse`. Wenn Web Audio und PCM-WAV unterstützt werden, die Wiedergabe erlaubt ist und nichts sie unterbricht, sind ein kurzer Ton und `state=running; samples=1024` zu erwarten. Die WAV-Datei entsteht lokal. Die Zahl ist die Arraylänge, nicht die Anzahl von Samples ungleich null. Lade die Seite zum Wiederholen neu.

Zugehörige Lektionen

  • JavaScript · Lektion 34 · Fortgeschritten · Version: 4

Quellen