Baza wiedzyCentrum egzaminacyjne
PLPolski
Wybierz język13

CKTIS / JavaScript

AudioContext: analiza i odtwarzanie dźwięku z elementu multimedialnego

Podłącz element audio lub video do analizatora i wyjścia dźwięku. Oddziel stan grafu Web Audio od stanu odtwarzania samego elementu.

Wersja: ECMAScript 2024 and the current web platform; runtime support varies

Składnia

const ctx = new AudioContext();
const analyser = ctx.createAnalyser();
const source = ctx.createMediaElementSource(mediaElement); // HTMLMediaElement
source.connect(analyser);
analyser.connect(ctx.destination);
// In an async handler for a user action:
await Promise.all([ctx.resume(), mediaElement.play()]);
const state = ctx.state;

Metody wywołuj na instancji AudioContext, nie na konstruktorze. createAnalyser(), state i destination pochodzą z BaseAudioContext. Bezargumentowa metoda createAnalyser() zwraca AnalyserNode, który udostępnia przebieg czasowy i widmo bez zmiany przepuszczanego sygnału. Do próbek przebiegu użyj Uint8Array o długości fftSize; frequencyBinCount to liczba przedziałów widma, równa połowie fftSize.

createMediaElementSource(element) przyjmuje istniejący HTMLMediaElement (audio lub video), a nie adres URL. Zwraca MediaElementAudioSourceNode i kieruje dźwięk elementu do grafu. Połącz źródło z analizatorem, a analizator z ctx.destination: ta właściwość tylko do odczytu wskazuje AudioDestinationNode, końcowe wyjście kontekstu czasu rzeczywistego. Analizator może mierzyć sygnał bez podłączonego wyjścia, ale wtedy ta ścieżka jest niesłyszalna. Używaj ponownie węzła źródłowego: ponowne powiązanie tego samego elementu zgłasza InvalidStateError; odłączenie węzła nie usuwa powiązania.

Bezargumentowe resume() wznawia zegar i przetwarzanie grafu, a nie odtwarzanie elementu. Zwraca Promise, który spełnia się po wznowieniu i jest odrzucany, gdy kontekst jest zamknięty. OfflineAudioContext.resume() to osobna metoda wznawiająca renderowanie offline. W obsłudze rzeczywistego kliknięcia wywołaj resume() i element.play() przed pierwszym await; obsłuż odrzucenie, np. NotAllowedError z play(). Pauzą nadal steruje element.pause().

Właściwość state tylko do odczytu opisuje kontekst: running oznacza pracę grafu, suspended — wstrzymanie (także przez politykę autoodtwarzania), closed — trwałe zamknięcie, a interrupted — zewnętrzne przerwanie, którego obsługa zależy od przeglądarki. Śledź zmiany przez statechange; running nie gwarantuje dźwięku. Węzeł źródłowy zwraca ciszę dla zasobu wczytanego bez zgody CORS z innego źródła. Dla publicznego pliku z innego źródła ustaw element.crossOrigin = 'anonymous' przed src i zapewnij odpowiednie nagłówki serwera. To interfejsy platformy WWW, nie ECMAScript 2024; obsługa zależy od środowiska. Gdy kontekst nie jest już potrzebny, close() zwalnia jego systemowe zasoby audio.

Przykłady

<!doctype html>
<html lang="en">
<head>
  <meta charset="utf-8">
  <title>Play and analyse</title>
</head>
<body>
  <button id="play" type="button">Play and analyse</button>
  <script>
    (() => {
      function makeTone() {
        const rate = 8000;
        const wav = new Uint8Array(44 + rate);
        const view = new DataView(wav.buffer);
        const text = (offset, value) => wav.set(new TextEncoder().encode(value), offset);

        // One second of mono, unsigned 8-bit PCM in a WAV container.
        text(0, 'RIFF');
        view.setUint32(4, 36 + rate, true);
        text(8, 'WAVEfmt ');
        view.setUint32(16, 16, true);
        view.setUint16(20, 1, true);
        view.setUint16(22, 1, true);
        view.setUint32(24, rate, true);
        view.setUint32(28, rate, true);
        view.setUint16(32, 1, true);
        view.setUint16(34, 8, true);
        text(36, 'data');
        view.setUint32(40, rate, true);
        for (let i = 0; i < rate; i++) {
          wav[44 + i] = 128 + Math.round(12 * Math.sin(2 * Math.PI * 440 * i / rate));
        }
        return new Blob([wav], { type: 'audio/wav' });
      }

      const button = document.getElementById('play');
      button.addEventListener('click', async () => {
        button.disabled = true;
        const media = new Audio();
        let ctx;
        let url;
        try {
          ctx = new AudioContext();
          const analyser = ctx.createAnalyser();
          analyser.fftSize = 1024;
          const source = ctx.createMediaElementSource(media);
          source.connect(analyser);
          analyser.connect(ctx.destination);

          const finished = new Promise((resolve) => {
            media.onended = () => resolve(true);
            media.onerror = () => resolve(false);
          });
          url = URL.createObjectURL(makeTone());
          media.src = url;
          await Promise.all([ctx.resume(), media.play()]);

          const samples = new Uint8Array(analyser.fftSize);
          analyser.getByteTimeDomainData(samples);
          console.log(`state=${ctx.state}; samples=${samples.length}`);
          if (!(await finished)) throw new Error('Media failed during playback');
        } catch (error) {
          console.error(error);
        } finally {
          media.pause();
          media.removeAttribute('src');
          media.load();
          if (url !== undefined) URL.revokeObjectURL(url);
          if (ctx && ctx.state !== 'closed') {
            await ctx.close().catch((error) => console.error(error));
          }
        }
      }, { once: true });
    })();
  </script>
</body>
</html>

Wynik

state=running; samples=1024

Zapisz przykład jako `index.html` i otwórz go w przeglądarce przez lokalny serwer HTTP. Otwórz konsolę programistyczną i kliknij na stronie `Play and analyse`. Jeśli przeglądarka obsługuje Web Audio i PCM WAV, zezwala na odtwarzanie i nie nastąpi przerwanie, usłyszysz krótki ton i zobaczysz `state=running; samples=1024`. WAV powstaje lokalnie. Liczba oznacza długość tablicy, a nie liczbę niezerowych próbek. Odśwież stronę, aby powtórzyć.

Powiązane lekcje

  • JavaScript · Lekcja 34 · Zaawansowany · Wersja: 4

Źródła