2つの原因が考えられます。

接続しているDATやMDが、サンプリングレート48kHzの信号を受信する機能がない。

OPTICAL DIGITAL I/Oから出力されている信号のサンプリングレートは、48kHzになっています。そのため、48kHzの信号を「接続している機器側」が受信可能でなければなりません。接続している機器が、48kHzの信号を受信出来ない場合には、接続している機器で受信出来るサンプリングレートに変換する必要があります。
たとえば、48kHzを44.1kHzに変換するサンプリングコンバーター等を、「OPTICAL DIGITAL I/O」と「接続している機器」の間においてください。 （OPTICAL DIGITAL I/Oからの出力信号を44.1kHzに変換して、DATやMDに入力してください。）

ミキサーの録音デバイスが正しく選択されていない。

録音したいデバイスをミキサーの録音デバイスとして選択します。
たとえば、音楽CD-ROMをデジタルで出力させて、接続したDATやMDで録音する場合には、録音デバイスとして「CD Audio」を選択します。（CD-ROMドライブが、SB Live!とアナログ接続されている場合）