プロセスの非同期実行を行いたい

[mikoto2000]

概要

Vim/NeoVim に外部プログラムの非同期化が入りましたので、それを利用して「Process.system()」の非同期化を行いたいです。

私の最終的な目標は HTTP ダウンロード処理の非同期化 ですが、その第一段階として 外部コマンド実行 (Process.system()) の非同期化 を提案します。

これにより、処理時間の長い外部プログラムを呼び出す場合など、必要に応じて UI をブロックせずに実行できるようになり、かつ、既存の background オプションと比べ、以下メリットが実現できます。

• 非同期実行したプログラムの戻り値が受け取れる
• コールバックによる非同期実行したプログラム完了時の処理を定義できる

方針

1. 既存の関数 Process.system にオプション async, out_cb, err_cb, exit_cb を追加
   out_cb, err_cb, exit_cb は async が v:true の場合にのみ有効
2. async オプションが v:true の場合、Vim/NeoVim の非同期 API でコマンドを実行する
   (Vim なら job_start, NeoVim なら jobstart)

修正後の Process.system API 定義イメージ

" * {command} [, {input} [, {timeout}]]
" * {command} [, {dict}]
"   {dict} = {
"     use_vimproc: bool,
"     input: string,
"     timeout: bool,
"     background: bool,
"     async: bool,
"     out_cb: function,
"     err_cb: function,
"     exit_cb: function
"   }
function! s:system(str, ...) abort
...(略)
endfunction

使用イメージ

    call s:Process.system(command, {
          \ 'async': 1,
          \ 'err_cb': function('s:my_out_cb',[arg]),
          \ 'out_cb': function('s:my_err_cb',[arg]),
          \ 'exit_cb': function('s:my_exit_cb',[arg])})

[tsuyoshicho]

参考: ありすえさんの Promise ベース 非同期 https://github.com/lambdalisue/vital-Whisky/blob/master/doc/Vital/Async/Promise/Process.txt

処理の構造がだいぶ変化するので、別定義が良いと思います。

https://github.com/vim-jp/vital.vim/blob/master/doc/vital/System/Process.txt

があって、バックエンドを選ぶ感じですので、そこの構造維持もしたほうがいいと思うので

System.AsyncProcess.execute(コールバック指定必須)
バックエンドは system() だけかな?

みたいなクラスがあると良いのではないか?と

エラーケースというか、指定不足問題などでのサイレント不具合(エラーするわけじゃないけど、期待した動作ができない)も排除しやすいかと思いますし。

どうでしょう?

(別メソッドくらいでもいいかも、vimprocやmockは動作エラーを返す?)

to: @mikoto2000

[mikoto2000]

コメントありがとうございます。
そんな構造になっているのですね。 Process.execute(), 初めて知りました。
...普通は Process.system を直接使うなんてことないんですかね？

                     +------+
                +----| Mock |
                |    +------+
                |
+---------+     |    +--------+
| Process |-----+----| System |
+---------+     |    +--------+
                |
                |    +---------+
                +----| Vimproc |
                     +---------+

とすると、非同期はこんな感じにするのがおさまり良いですかね？

+--------------+          +-----+
| AsyncProcess |----------| Job |
+--------------+          +-----+

[tsuyoshicho]

@mikoto2000

それでもいいかもしれませんが

...普通は Process.system を直接使うなんてことないんですかね？

ヘルプにサンプルがありますが、Processをそのまま利用します。(しない感じですね)

	let s:Process = s:V.import('System.Process')
	let result = s:Process.execute([
	    \ 'git', 'rev-parse', '--is-inside-work-tree',
	    \])
	echo result.output
	" => true

と、普通に使うけど、設定と環境から、内部クラス(処理を移譲している)が切り替る、という感じです。

vital.vim/autoload/vital/__vital__/System/Process.vim

Lines 11 to 12 in a93f5d3

	call s:register('System.Process.Vimproc')
	call s:register('System.Process.System')

ここで登録を記述の上からtryして、利用可能ならそれを使う感じです。
vimprocがあるとsystemより優先ですね、現在は(速度とか処理移譲とか、待ちが強いとかだったかな?)

[mikoto2000]

job_start に代わるクライアントが登場するかという話もありますし、初期実装としては AsyncProcess.execute(command, option) を実装するというのが良いかもですね。

[mikoto2000]

{option} とコールバック, Vim と Neovim で異なるのでどうしたものか。

Vim or Neovim で許容されているキー項目を好きに入れてもらうというのが一番楽か。

呼び出し元は自分が Vim か Neovim かわかっているのだから、渡すオプションのキーは Vim or Neovim が許容するモノを渡せるはず。
なので、 AsyncProcess.execute() に渡された {option} を特にいじることなく job_start() や jobstart() に渡すこととする。

  if s:is_nvim
    call jobstart([&shell] + args, a:options)
  else
    call job_start([&shell] + args, a:options)
  endif

[mikoto2000]

Windows 環境で文字化け発生。 Process.system ではどうやって文字化けを回避しているのか調べる。

shell=powershell:

    �f�B���N�g��: C:\Users\mikoto\project\tmp


Mode                 LastWriteTime         Length Name                                                                 
----                 -------------         ------ ----                                                                 
-a----        2025/11/26      7:58            672 test.vim                                                             

shell=cmd:

 �h���C�u C �̃{�����[�� ���x���Í Windows �ł·
 �{�����[�� �V���A���ԍ��Í 201C-41AD �ł·

 C:\Users\mikoto\project\tmp �̃f�B���N�g��

2025/11/26  07:40    <DIR>          .
2025/10/12  10:29    <DIR>          ..
2025/11/26  07:58               672 test.vim
               1 ��̃t�@�C��                 672 �o�C�g
               2 ��̃f�B���N�g��  365,656,403,968 �o�C�g�̋󂫗̈æ

[mikoto2000]

Vim or Neovim で許容されているキー項目を好きに入れてもらうというのが一番楽か。

呼び出し元は自分が Vim か Neovim かわかっているのだから、渡すオプションのキーは Vim or Neovim が許容するモノを渡せるはず。
なので、 AsyncProcess.execute() に渡された {option} を特にいじることなく job_start() や jobstart() に渡すこととする。

job_start, jobstart の無意味なラッパーになってしまうので、どちらかに寄せて Vim, Neovim で同じ使い方で使えるようにしたほうが良さそう

[mikoto2000]

Windows 環境で文字化け発生。 Process.system ではどうやって文字化けを回避しているのか調べる。

iconv を使って文字化け解消可能。

Vim or Neovim で許容されているキー項目を好きに入れてもらうというのが一番楽か。
呼び出し元は自分が Vim か Neovim かわかっているのだから、渡すオプションのキーは Vim or Neovim が許容するモノを渡せるはず。
なので、 AsyncProcess.execute() に渡された {option} を特にいじることなく job_start() や jobstart() に渡すこととする。

job_start, jobstart の無意味なラッパーになってしまうので、どちらかに寄せて Vim, Neovim で同じ使い方で使えるようにしたほうが良さそう

とはいえコールバックを Vim の使い心地に寄せるのは無理では？

[mikoto2000]

Job や Channel を意識させたくないので、こんな風に呼び出せるといいのかな？

function! my_exit_cb(exit_code)
  " exit_code = number, 終了コード
endfunction

function! my_err_cb(data)
  " data = list, 標準エラー出力された文字列が 1 行ずつ data の要素として格納される
endfunction

function! my_out_cb(data)
  " data = list, 標準出力された文字列が 1 行ずつ data の要素として格納される
endfunction

call s:AsyncProcess.execute(
      \ 'ls -la',
      \ {
      \   'exit_cb': function('s:my_exit_cb'),
      \   'out_cb': function('s:my_out_cb'),
      \   'err_cb': function('s:my_err_cb'),
      \ }
      \)

[mikoto2000]

ひとまず Vim で動くところまでを実装完了。

[tsuyoshicho]

PRはテストが実行されるようにしておきました。

[mikoto2000]

ありがとうございます！