2011年8月29日月曜日

MediaPlayerでStreaming的な再生 その3

前回、4つの方法を試そう、とありましたが、
最初に試した方法でなかなかな感じに仕上がりましたので
2以降は試していません。
さて、1の方法について書きます。


RandomAccessFileを使用して、ダウンロードファイルサイズのファイルを作成、書き込みを行う


一番最初に試した方法では、ファイルへの書き込み自体はうまくいってましたが、
肝心の再生が、setDataSourceを行った時点までしか再生されない結果になっていました。
ここで、考えたのが、setした時点のファイル情報から、シーク可能な範囲が決定されているのではないのか、ということです。
そのため、前のエントリでの1と4の方法を考えたわけです。

で、この方法では、RandomAccessFileクラスを利用して、あらかじめ音楽ファイルのサイズのファイルを作成して、順次書き込んでいこうという方法です。
色々とややこしいですが
以下に必要な分のソースを置いておきます。

public class StreamingPlayer implements OnCompletionListener {

    private RandomAccessFile tempFile;
    private MediaPlayer player;
    private long fileSize;
    private long bufferdSize;
    private long musicLeng;
    private ScheduledExecutorService scheduled;
    private ScheduledFuture schFuture = null;
    private PlayerState state;
    private boolean isWatching = false;

    //独自のConnectionManagerクラス
    //sendMusicObjectメソッドを使うことで、対象のサーバに接続、
    //送信が行えます。そういうものです。
    private ConnectionManager manager;

    private final int THREAD_WATCH_INTERVAL = 1;

    //現在のプレイヤーの状態
    static private enum PlayerState{
        STOP,        //停止中
        PLAYING,    //再生中
        PAUSE,        //一時停止中
        BUFFERING,    //バッファ待ち
    }

    public StreamingPlayer(ConnectionManager manager) {
        this.manager = manager;
        player = new MediaPlayer();
        player.setOnCompletionListener(this);
        scheduled = Executors.newSingleThreadScheduledExecutor();
    }

    /**
     * 再生準備
     * writeObjectを使って独自のファイル情報を持つオブジェクトを送信しています。
     * 送信後、指定のファイルのバイナリが返却されます。
     * OrigFileInfoクラスのgetNameメソッドはファイル名、
     * getExtensionメソッドは拡張子を、
     * getSizeメソッドはファイルのサイズが取得できます。
     */
    public void prepareMusic(OrigFileInfo musicFile) {
        try {
            //新規のデータソースを入れるため、
            //再生中のものを止めて、resetをかけています。
            player.stop();
            player.reset();
            //キャッシュディレクトリに新規一時ファイル作成
            tempFile = new RandomAccessFile(File.createTempFile(
                    musicFile.getName(), musicFile.getExtension(),
                    getCacheDir()), "rw");
            //ファイルサイズの設定
            tempFile.setLength(musicFile.getSize());
            tempFile.seek(0);
            
            //バッファ済みサイズの初期化
            bufferdSize = 0;
            fileSize = musicFile.getSize();
            //プレイヤー状態の更新
            state = PlayerState.STOP;
            //オブジェクトの送信
            manager.sendMusicObject(this, musicFile);
            if(isWatching){
                schFuture.cancel(true);
            }
            //ダウンロード状態監視のためのスケジューラ
            //1秒ごとに実行させる
            schFuture = scheduled.scheduleAtFixedRate(new Watcher(), 0,THREAD_WATCH_INTERVAL, TimeUnit.SECONDS);
            isWatching = true;
            return;
        } catch (Exception e) {
            e.printStackTrace();
            return;
        }
    }

    /**
     * 一時停止操作のためのメソッド
     */
    public void pause() {
        if (state==PlayerState.PLAYING) {
            state = PlayerState.PAUSE;
            player.pause();
        }
        else if(state==PlayerState.PAUSE){
            state = PlayerState.PLAYING;
            player.start();
            if(!isWatching){
                schFuture = scheduled.scheduleAtFixedRate(new Watcher(), 0,THREAD_WATCH_INTERVAL, TimeUnit.SECONDS);
                isWatching = true;
            }
        }
    }

    /**
     * ストップ操作のためのメソッド
     */
    public void stop() {
        if (state!=PlayerState.STOP) {
            state = PlayerState.STOP;
            player.pause();
            player.seekTo(0);
        }
    }
    
    /**
     * シーク操作のためのメソッド
     */
    public void seekTo(int seekToPercent) {
        int downRate = getBufferRate();
        //ダウンロード済みよりもシークが超えないようにする
        //今回、seekのMAXは1000になってます
        if(seekToPercent < downRate) {
            int dur = player.getDuration();
            player.seekTo((int)(dur * ((double)seekToPercent / 1000)));
        }
    }

    /**
     * バッファ取得時の初回時にだけ呼ぶメソッド
     * ※少なくとも音楽ファイルのヘッダ情報を全て含むまで
     *   取得してから呼ぶ必要があります
     * @param buf 取得バッファのバイト配列
     */
    public void startMusicBuffer(byte[] buf) {
        try {
            //ファイル書き込み
            tempFile.write(buf);
            //バッファ済みサイズ更新
            bufferdSize = buf.length;
            //データソースに設定
            player.setDataSource(tempFile.getFD());
            player.prepare();
            //なくてもいいかも
            player.setAudioStreamType(AudioManager.STREAM_MUSIC);
            //音楽ファイルの長さ(ミリ秒数)取得
            musicLeng = player.getDuration();
            //プレイヤーの状態をバッファリング中に変更
            state = PlayerState.BUFFERING;
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
    
    /**
     * 2回目以降のバッファ取得時に呼ぶメソッド
     */
    public void receiveBuffer(byte[] buf) {
        try {
            //書き込み位置にシーク
            tempFile.seek(bufferdSize);
            //ファイル書き込み
            tempFile.write(buf);
            tempFile.getFD().sync();
            //バッファ済みサイズ更新
            bufferdSize += buf.length;
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    /**
     * 再生するために十分なファイル書き込みが行われているか判定する。
     * ファイルサイズとバッファ済みサイズ
     * MediaPlayerの再生位置と音楽ファイルの秒数から判定する
     * 計算式には自身なし。
     */
    private boolean isEnoughBuffer() {
        //全てダウンロード完了済み
        if(fileSize <= bufferdSize){
            return true;
        }
        
        int downRate = getBufferRate();
        int playRate = getPlayedRate();
        //10秒の割合を算出
        int tenSecPer = (int)(( 1000 / (double) musicLeng) * 10);
        if (1000 < tenSecPer) {
            tenSecPer = 1000;
        }
        else if (tenSecPer <= 0) {
            tenSecPer = 1;
        }

        //再生位置の割合と、ダウンロード済みサイズの割合の差が
        //閾値以下の場合、falseを返却
        if ((downRate - playRate) < tenSecPer) {
            return false;
        } else {
            return true;
        }
    }

    /**
     * ダウンロード済みのサイズとファイルの全体の長さから、割合を計算(MAX 1000)
     */
    private int getBufferRate() {
        if(fileSize==0){
            return 0;
        }
        return (int) (((double) bufferdSize / (double) fileSize) * 1000);
    }

    /**
     * 再生位置と全体の秒数から、現在の割合を計算(MAX 1000)
     */
    private int getPlayedRate() {
        if(musicLeng==0){
            return 1000;
        }
        return (int) (((double) player.getCurrentPosition() / (double) musicLeng) * 1000);
    }

    /**
     * 再生終了時
     */
    @Override
    public void onCompletion(MediaPlayer mp) {
        if(state==PlayerState.PLAYING){
            state = PlayerState.STOP;
            //監視スケジューラを停止
            schFuture.cancel(true);
            isWatching = false;
        }
        else if(isWatching) {
            //監視スケジューラを停止
            schFuture.cancel(true);
            isWatching = false;
        }
    }

    /**
     * ダウンロード進捗監視タイマ
     */
    class Watcher implements Runnable {
        public Watcher() {

        }

        @Override
        public void run() {
            if(state==PlayerState.PLAYING){
                //プレイヤーが再生中
                if (!isEnoughBuffer()) {
                    //バッファが足りないため一時停止
                    player.pause();
                    state = PlayerState.BUFFERING;
                }
            } else if(state==PlayerState.BUFFERING){
                //バッファリングで一時停止中
                if (isEnoughBuffer()){
                    //バッファが足りている場合、再開する
                    player.start();
                    state = PlayerState.PLAYING;
                }
            }
            else {
                //その他(PAUSE/STOP)
                int buffRate = getBufferRate();
                if(buffRate==1000 && isWatching){
                    //ダウンロード完了している場合、監視を終了する
                    schFuture.cancel(true);
                    isWatching = false;
                }
            }
        }
    }
}




プレイヤー部分はこんな感じ。
通信部分に関しては力尽きました省略させていただきます。
最初にprepareMusic()で再生準備を行って
定期的に溜まったbyteデータを
初回時は、startMusicBufferメソッドを、
2回目以降は、receiveBufferメソッドを使うだけです
ただし、prepareMusic()を呼ぶときに
あらかじめファイルのサイズを知る必要があります。
通信部で、intのファイルサイズを送ってから
バイナリ送信を始めるなりしてなんとかしてください。


実装したコードの一部分を引っ張ってきているため、
このままじゃ動かないかもです。

12/17 追記

android2.x系ではうまく動かない。。。 3.xや4.0では動作するみたいだけど何が悪いのかわからん。。。

MediaPlayerでStreaming的な再生 その2

作戦その1が見事に失敗に終わりました。

めげずに次に行きます。


2.ファイルに追加書き込み時にデータソースを読み直す

今度は、ここを参考にして、

・一時ファイルを作成
・先頭のある程度のバイトのバッファを書き込み
・MediaPlayerで再生
・通信部である程度のバッファがたまったら、以下の手順で追加し、再生を続ける
pause() → カレントポジション保存 → 一時ファイルにバッファを追加書き込み → reset() → setDataSource() → prepare() → seekTo() → start()

という感じを試してみました。
が、バッファの書き込みタイミング毎で音がプチプチ飛ぶため、
とても聞けたものにはなりませんでした。

失敗です。。。



さて、どうしたもんかと、色々考えた結果
今度は次の4つを試してみようということになりました。

1RandomAccessFileを使用して、ダウンロードファイルサイズのファイルを作成、書き込みを行う
2AudioTrackを使用してのStreaming再生
3MediaPlayerを2つ使用してのダブルバッファリング的に音飛びを解消できないか試す
4C++ソースをいじって、ファイルシークの最大値を更新できるようにする

が、結果的には1を試した時点でいい感じになったので、2~4は試してません。
次から1について書いていきます。

その3へ続きます。

MediaPlayerでStreaming的な再生 その1

作成中のアプリですが、
現在一応音楽ファイルを再生できる、と書いてましたが、
PC側からファイル全体をダウンロード完了しなければ
再生が始まりませんでした。
で、今回なんとかダウンロード途中で再生ができるように
かなり強引にやってみました。


Androidで音楽ファイルは
MediaPlayerを使うことで簡単に再生することができます。
さて、このMediaPlayerでは、

・ファイルパス
・ファイルディスクリプタ(javaのクラス)
・URI

がsetDataSourceで入力として使えます。
どのバージョンのAndroidからかは忘れましたが、
3番目のURIで、入力値として、
httpで音楽ファイルを指定すれば
ストリーミング再生が可能みたいです。試してないですが。

今回、ダウンロード先が自作の独自のJavaで作成しているサーバのため、HTTPプロトコルではなく、
SocketのgetInputStream/getOutputStreamから
ObjectInputStream/ObjectOutputStreamを生成して、通信を行っています。

そのため、
while ((c = inStream.read(buff)) != -1) {
os.write(buff,0,c);
os.flush();
}

のようにして、読み込みを行ってます。
HTTPリクエストに対してレスポンスを返すようにサーバサイドを作り変えれば簡単かもしれませんが、他のディレクトリ構造の情報とか画像とかをやり取りするため、
サーバサイドはObjectStream系のreadObject()で読み込み待ちをしています。
そのため、setDataSourceでサーバのアドレスをHTTPプロトコルで入力してやると、例外が吐かれてしまいます。

ので、上のようなbyte読み込みで、Streaming的に再生ができないか色々と試行錯誤しました。



1.setDataSourceで指定したファイルに対して、追加で書き込みを行う

まず最初に考えたのが上の方法です。
これは、
File.createTempFileで一時ファイルを作成。
FileOutputStreamで音楽ファイルの先頭のある程度のバイト数を書き込む。
FileInputStreamで同ファイルを開き、setDataSource(inputStream.getFD())で指定して、再生を開始。
通信で追加のデータを受信する毎にこのファイルに対して書き込みを行えば再生されないかなー?
ということです。
setDataSource()では、ファイルロックがかかってないので、書き込み自体は、可能でしたが、肝心の音楽の再生がsetDataSource()時点で書き込まれているところまでしか、再生してくれませんでした。

失敗です。。。

続きます。

2011年8月22日月曜日

進捗~

取りあえず色々いじってる最中です。

今のところこんな感じに追加されてます。

・パスの直接入力でフォルダにジャンプ
 (PCのパスツリーを覚えてないと意味ない)
・ついでにフォルダの更新ボタン追加
・最上部のアイコンが通信時にくるくる回るプログレスバーになる
・フォルダ/画像/ZIPアーカイブ/その他データ に(暫定)アイコン追加
 (適当につけてるのでその内変えないと・・・)
・ファイルのサイズと最終更新時が出るように
・画像表示で、原寸表示時にタッチでスクロールできる

フォルダのリスト表示はこんな感じです。


アイコンどうしようかなぁ・・・。

2011年8月21日日曜日

ObjectStreamでcode71

作成中のアプリの内部構造をいじってると、
java.io.StreamCorruptedException: invalid type code: 71
な例外が発生するようになってました。

スタックトレースを見ると、

java.io.StreamCorruptedException: invalid type code: 71
at java.io.ObjectInputStream.readString(Unknown Source)
at java.io.ObjectInputStream.readEnum(Unknown Source)
at java.io.ObjectInputStream.readObject0(Unknown Source)
at java.io.ObjectInputStream.defaultReadFields(Unknown Source)
at java.io.ObjectInputStream.readSerialData(Unknown Source)
at java.io.ObjectInputStream.readOrdinaryObject(Unknown Source)
at java.io.ObjectInputStream.readObject0(Unknown Source)
at java.io.ObjectInputStream.readObject(Unknown Source)

で、どうやらEnum周り?でエラーが起こってるようです。

結果的には、Enumの識別子名が被ってたため
デシリアライズで問題が起こったようです。

定義を見直して、Enumの識別子の名前を変更したところ
問題は発生しなくなりました。

めでたしめでたし。

2011年8月18日木曜日

ImageViewでスクロール

Androidアプリの画像閲覧ソフトで、
画像が大きいと、ドラッグでスクロールとか、
フリックで慣性っぽいスクロールとかよくあるので
できるかやってみました。

参考サイト様はこちら


使うのは、Scrollerというクラスです。ScrollViewは使いません。
コードは結構適当なので注意してください。

public class ScrollImageView extends ImageView implements OnGestureListener,OnDoubleTapListener{
  private GestureDetector gesDetector;
  private Scroller viewScroller = null;
  //ビューの最大/最小 X座標
  private int _limitX;
  //ビューの最大/最小 Y座標
  private int _limitY;
  //画像の幅
  private int _imageWidth;
  //画像の高さ
  private int _imageHeight;

  public ScrollImageView(Context context,AttributeSet attrs) {
    super(context,attrs);
    this.setClickable(true);
    //Scrollerの生成
    //DecelerateInterpolatorで、徐々に減速する動作になる
    viewScroller = new Scroller(getContext(),new DecelerateInterpolator());
    gesDetector = new GestureDetector(this.getContext(),this);
    gesDetector.setIsLongpressEnabled(true);
    gesDetector.setOnDoubleTapListener(this);
    this.setOnTouchListener(new View.OnTouchListener() {
      @Override
      public boolean onTouch(View v, MotionEvent event) {
        if(gesDetector.onTouchEvent(event)){
          return true;
        }
        return false;
      }
    });
  }

  //画像の大きさを記録するため、setImageBitmapをオーバーライドする
  @Override
  public void setImageBitmap(Bitmap image){
    //画像を設定する際に、幅と高さを記憶しておく
    _imageWidth = image.getWidth();
    _imageHeight = image.getHeight();
    super.setImageBitmap(image);
  }

  @Override
  public void computeScroll() {
    //現在のスクロール位置をシミュレートする?
    if ( viewScroller.computeScrollOffset() ) {
      //スクロール位置を取得
      int setX = viewScroller.getCurrX();
      int setY = viewScroller.getCurrY();

      if(setX > _limitX){
        //右端の座標を越えていないかチェック
        setX = _limitX;
      }
      else if(setX < -_limitX){
        //左端の座標を越えていないかチェック
        setX = -_limitX;
      }
      if(setY > _limitY){
        //下端の座標を越えていないかチェック
        setY = _limitY;
      }
      else if(setY < -_limitY){
        //上端の座標を越えていないかチェック
        setY = - _limitY;
      }
      //setX,setYの絶対座標へスクロールする
      scrollTo(setX, setY);
    }
  }

  @Override
  public boolean onDown(MotionEvent e) {
    //スクリーンダウン時に境界値を再計算する
    //機体の向き変更とかに対応するため、だが、
    //タッチ時に一々再計算が入るので、別の位置に入れたい・・・
    refreshLimit();
    return false;
  }

  @Override
  public boolean onFling(MotionEvent e1, MotionEvent e2, float velocityX, float velocityY) {
    //フリック時の挙動
    int currentX = getScrollX();
    int currentY = getScrollY();
    int targetX = 0;
    int targetY = 0;

    targetX = currentX - (int)velocityX / 2;
    targetY = currentY - (int)velocityY / 2;
    viewScroller.startScroll(currentX, currentY, targetX - currentX, targetY - currentY,500);
    invalidate();
    return true;
  }

  @Override
  public boolean onScroll(MotionEvent e1, MotionEvent e2, float distanceX, float distanceY) {
    //ドラッグ時のスクロール
    //移動距離取得
    int setX = (int)distanceX;
    int setY = (int)distanceY;
    //移動後の座標位置を計算
    int afterX = this.getScrollX() + setX;
    int afterY = this.getScrollY() + setY;

    //はみ出てないかチェック
    if(afterX > _limitX || afterX < -_limitX){
      //はみ出す場合、移動距離を0にする
      setX = 0;
    }
    if(afterY > _limitY || afterY < -_limitY){
      setY = 0;
    }
    //ビューのスクロール(相対距離指定)
    scrollBy(setX, setY);
    return true;
  }

  //座標の限界値を計算する
  private void refreshLimit(){

    //画像サイズから、移動範囲を計算する
    //ScaleTypeがCENTERだからか、画像の中心が(0,0)のため、
    //X座標は、画像の幅/2の数値が右端、-(画像の幅/2)の数値が左端となる
    //Y座標も同様
    //また、ビュー自体のサイズも関係するため、
    //ビューが移動できる座標の限界値は、
    // (画像幅 - ビュー幅) /2 になる
    if(_imageWidth < getWidth()){
    _limitX = 0;
    }
    else{
      _limitX = (_imageWidth - getWidth())/2;
    }
    if(_imageHeight < getHeight()){
      _limitY = 0;
    }
    else{
      _limitY = (_imageHeight - getHeight())/2;
    }
  }

}

こんな感じです。 今作成中のやつから必要なところを抜粋してきたので、 このままだと動作しないかもしれません。

次は慣性スクロール中にドラッグしたときに 慣性スクロールを止めるやり方を調べます。

8/21追記

スクロールの中断は、上記参考サイト様に載ってましたね。 viewScroller.forceFinished(true); で止められます。

onDownにのrefreshLimit()の前にforceFinished(true) を追加でストップできました。

11/06追記

持ってる実機がAsusのタブレットなのでandroid3.0向けにコードを書いているんですが、 ためしにandroid2.1のエミュレータで実行してみたところ、画像が表示されないことがわかりました。 3.0や4.0のエミュレータだと表示されるんですが。。。うーん、原因がわかりません。

12/19追記

やっと原因がわかりました。 というか、上に挙げてるコードだと問題ないですね。 抜粋元(自分で実装した)のコード内にあった、onMeasureをオーバーライドしていた箇所で 変なことをやってたみたいです。。。なんでこんなことやってたんだろ? アホの子か俺は。

2011年8月16日火曜日

取りあえず



作成中のアプリの記録を残しておこうと思います。

取りあえず、今のところは、

フォルダ階層の移動


Windowsの論理ドライブ表示


画像表示とフリックでの次の画像へ移動


ZIPファイル内のファイル表示(UTF8で固めていないと化けます)と画像ファイルの表示
MP3とZIP内のMP3の再生(するだけ。。。)

が可能な感じ。
バグ多し。でかい画像読むとOutOfMemory吐かれます。。。

先は長い。

2011年8月15日月曜日

ObjectInputStreamの進捗を知りたい

早速メモ1つ目。。。

Socketでの通信で、ダウンロードの進捗をプログレスで出したい時の方法です。

読み込みのループ処理で、読み込みバイト数をカウントする方法もありますが、
ObjectInputStreamのreadObjectでは使えないので。。。


結論から言うと、CountingInputStreamを使用します。
CountingInputStreamは、org.apache.commons.ioパッケージにありますので、
この辺から入手してください。
http://commons.apache.org/io/

使い方は簡単です。
例えば、ObjectInputStreamの読み込み状況を知りたいときは、以下のように書きます。

private CountingInputStream cis = null;
.
.
.
public void readObjectBySocket(InetAddress address, int port){
  try{
    Socket sock = new Socket(address,port);
    cis = new CountingInputStream(sock.getInputStream());
    ObjectInputStream inStream = new ObjectInputStream(cis);
    receiveObject = inStream.readObject();
 
    inStream.close();
    cis.close();
    sock.close();
  }
  catch(Exception e){
    e.printStackTrace();
  }
}

//cisからダウンロード完了したバイトサイズを取得するには、getByteCountを使用します。
public long getCount(){
  if(cis==null){
    return 0;
  }
  return cis.getByteCount();
}


こんな感じ。例外とかは適当です。
ただし、readObject()で受信完了待ちになるので、
別スレッドなどから
cisにアクセスしましょう。
3.0からは、通信処理は、AsyncTaskでやる必要があるので、ちょうどいいです。

多分これで取得できるはず。。。

久々に更新

久々にメモ。

6月末に ASUS Eee Pad Transformer TF101 を購入しました。
ので、今Androidのアプリ側のプログラムをセコセコ楽しんでます。

作っているのは、
画像再生+音楽再生機能を持ったアプリですが、
デスクトップPC側に自作のJavaサーバプログラムを仕込んで、
PC側に繋げて、ネットワーク経由でPCのファイルをワサワサと閲覧しよう。
というアプリです。
Androidの中のファイルは見れませんが。

というわけで、現在、Android側と、Java側のプログラムを
モサモサと作成中です。


ちょくちょく詰まるので、メモを残そうと思います。