両的計画 - 版の履歴

Imahori: 基礎編と用語編のマージ

2008-03-23T08:43:51Z

基礎編と用語編のマージ

2007年8月8日 (水) 12:19にKanda.kによる

2007-08-08T12:19:24Z

Orsjwiki: "両的計画" を保護しました。 [edit=sysop:move=sysop]

2007-07-20T01:00:04Z

"両的計画" を保護しました。 [edit=sysop:move=sysop]

2007年7月9日 (月) 07:36に122.17.2.240による

2007-07-09T07:36:09Z

Orsjwiki: 新しいページ: ''''【りょうてきけいかく (bynamic programming)】''' 　動的計画法は単調性 monotonicity と再帰性 recursiveness (可分性 separability) の下で適用...'

2007-07-03T06:27:29Z

新しいページ: ''''【りょうてきけいかく (bynamic programming)】''' 　動的計画法は単調性 monotonicity と再帰性 recursiveness (可分性 separability) の下で適用...'

新規ページ

'''【りょうてきけいかく (bynamic programming)】'''

　動的計画法は単調性 monotonicity と再帰性 recursiveness (可分性 separability) の下で適用される. この単調性は目的関数の「非減少性」を意味しているが, これを両調性bitonicity「非減少性または非増加性のいずれか」まで拡大解釈すると, より広い逐次決定過程が考えられる. これを[[両的計画]]と呼ぶ. 特に, 確率システム上では[[マルコフ両決定過程]][3]という. これは確率的動的計画法を単にマルコフ決定過程ということに準じている.

　両的計画法によって最大化問題を解く場合, 与問題に対する部分最大化問題群ばかりでなく部分最小化問題群をも考える必要がある. このとき, 最大値関数と最小値関数の間に成り立つ連立再帰式を[[両帰式(動的計画法における)]] という. [[負値乗法型評価系]][1], [[負値乗加法型評価系]] [2] の最適化問題や[[最短最長ルート問題]]などは両帰式で解ける.

　さて, 逐次決定過程が次の要素で与えられるとしよう：
　
　
\begin{eqnarray}
& & S~ \mbox{は状態空間},~~s_{n} \in S~ \mbox{は第}n\mbox{状態},~~A~
\mbox{は決定空間} \nonumber \\
& & A(s_{n})~ \mbox{は}s_{n}\mbox{での可能決定空間},~~a_{n} \in A(s_{n})
\mbox{は第}n\mbox{決定} \nonumber \\
& & r : S \times A \to \mbox{\bf R}^{1}~\mbox{は利得関数},~~\beta : S \times A \to
(-1,\,1)~\mbox{は割引き関数} \nonumber \\
& & k : S \to \mbox{\bf R}^{1}~\mbox{は終端関数},~~ T : S \times A \to
S~\mbox{は状態変換} \nonumber \\
& & p = \{p(t|s,a)\}~\mbox{はマルコフ推移法則},~~\sum_{t \in S}p(t|s,a) = 1,
~p(t|s,a) \ge 0 \nonumber
\end{eqnarray}

このとき, 確定系上の負値乗加法評価系の最大化または最小化は

\begin{eqnarray}
& & {\rm max.~and~min.} \hspace{2mm} r_{1} + \beta_{1}r_{2} +
\beta_{1}\beta_{2}r_{3} + \cdots \nonumber \\[-2.10mm]
& & \hspace*{30mm} + \beta_{1}\beta_{2} \cdots \beta_{N-1}r_{N} +
\beta_{1}\beta_{2} \cdots \beta_{N}k \nonumber \\
& & \mbox{s. t.} \hspace{2mm}
T(s_n,a_n) = s_{n+1}, ~ a_{n} \in A(s_{n}) \hspace{4mm} (n = 1, 2, \ldots, N),
\nonumber
\end{eqnarray}

で表わされる. ただし ~$ r_{n} = r(s_{n},a_{n}),~~\beta_{n} =
\beta(s_{n},a_{n}).$
このとき, 第$n$段の状態 $ s_{n} $ から始まる部分問題
\begin{eqnarray}
& & {\rm max.~and~min.} \hspace{2mm} r_{n} + \beta_{n}r_{n+1} +
\beta_{n}\beta_{n+1}r_{n+2} + \cdots \nonumber \\[-2.10mm]
& & \hspace*{28mm} + \beta_{n}\beta_{n+1} \cdots \beta_{N-1}r_{N} +
\beta_{n}\beta_{n+1} \cdots \beta_{N}k \nonumber \\
& & \mbox{s. t.} \hspace{2mm}
T(s_m,a_m) = s_{m+1}, ~ a_{m} \in A(s_{m}) \hspace{4mm} (m = n, n+1, \ldots, N ), \nonumber
\end{eqnarray}
の最大値を $ U_{n}(s_{n}) $, 最小値を $ u_{n}(s_{n}) $
とすると, 両最適値関数は両帰式
\begin{eqnarray}
&& U_{n}(s) = \mathop{{\rm max}}_{a:-}T(s,a; u_{n+1}) \vee \mathop{{\rm
max}}_{a:+}T(s,a; U_{n+1}) \nonumber \\
&& u_{n}(s) = \mathop{{\rm min}}_{a:-}T(s,a; U_{n+1}) \wedge \mathop{{\rm
min}}_{a:+}T(s,a; u_{n+1}) \label{eqn:A-E-02+dbe00} \\
&& U_{N+1}(s) = u_{N+1}(s) = k(s) \nonumber
\end{eqnarray}
を満たす. ここに~ $ T(s,a; w) := r(s,a) + \beta(s,a)w(T(s,a)), $~ $a:-(+)$
は $ \beta(s,a) <(\ge)\, 0 $ なる $a$ である. \par
%
%
また, マルコフ推移法則 $ p = \{p(t|s,a)\} $ 上での期待値最適化問題

\begin{eqnarray}
& & {\rm max.~and~min.} \hspace{2mm} E[\,r_{1} + \beta_{1}r_{2} +
\beta_{1}\beta_{2}r_{3} + \cdots \nonumber \\[-2.10mm]
& & \hspace*{42mm} + \beta_{1}\beta_{2} \cdots \beta_{N-1}r_{N} +
\beta_{1}\beta_{2} \cdots \beta_{N}k\,] \nonumber \\
& & \mbox{s. t.} \hspace{2mm}
p(\cdot|s_n,a_n) \sim s_{n+1}, ~ a_{n} \in A(s_{n}) \hspace{4mm}
(n = 1,2, \ldots ), \nonumber
\end{eqnarray}

の両帰式は一次変換
$$
T(s,a; w) := r(s,a) + \beta(s,a) {\displaystyle \sum_{t \in S}w(t)p(t|s,a)}
$$
を用いて(\ref{eqn:A-E-02+dbe00})と同じ型で与えられる[4].

----
'''参考文献'''

[1] R. Bellman, ''Dynamic Programming'', Princeton Univ. Press, 1957.

[2] S. Iwamoto, "From Dynamic Programming to Bynamic programming," ''Journal of Mathematical Analysis and Applications'', '''177''' (1993), 56-74.

[3] S. Iwamoto, "On Bidecision Processes," ''Journal of Mathematical Analysis and Applications'', '''187''' (1994), 676-699.

[4] T. Fujita and K. Tsurusaki, "Stochastic Optimization of Multiplicative Functions with Negative Value," ''Journal of the Operations Research Society of Japan'', '''41''' (1998), 351-373.

@@ 1行目: / 1行目: @@
 '''【りょうてきけいかく (bynamic programming)】'''
 いわゆる動的計画法を2元連立的に考えた逐次最適化法. 単調性「非減少性」に代わって両調性「非減少性または非増加性のいずれか」の下では, 部分最大化問題群と部分最小化問題群の両群を考えて, 両群の相隣る問題間の関係を両帰式としてを導く. これを逐次解いて, 最後に与問題の最適解を求める方法である.負値乗法型, 負値乗加法型などの評価系が両的計画で解ける. 確率系ではマルコフ両決定過程ともいう.
-詳しくは[[《両的計画》|基礎編：両的計画]]を参照.
+=== 詳説 ===

← 古い版		2007年8月8日 (水) 12:19時点における版
1行目:		1行目:
	'''【りょうてきけいかく (bynamic programming)】'''		'''【りょうてきけいかく (bynamic programming)】'''

−	いわゆる動的計画法を2元連立的に考えた逐次最適化法. 単調性「非減少性」に代わって両調性「非減少性または非増加性のいずれか」の下では, 部分最大化問題群と部分最小化問題群の両群を考えて, 両群の相隣る問題間の関係を両帰式としてを導く. これを逐次解いて, 最後に与問題の最適解を求める方法である.負値乗法型, 負値乗加法型などの評価系が両的計画で解ける. 確率系ではマルコフ両決定過程ともいう	+	いわゆる動的計画法を2元連立的に考えた逐次最適化法. 単調性「非減少性」に代わって両調性「非減少性または非増加性のいずれか」の下では, 部分最大化問題群と部分最小化問題群の両群を考えて, 両群の相隣る問題間の関係を両帰式としてを導く. これを逐次解いて, 最後に与問題の最適解を求める方法である.負値乗法型, 負値乗加法型などの評価系が両的計画で解ける. 確率系ではマルコフ両決定過程ともいう.
		+
		+	詳しくは[[《両的計画》\|基礎編：両的計画]]を参照.

← 古い版		2007年7月9日 (月) 07:36時点における版
1行目:		1行目:
	'''【りょうてきけいかく (bynamic programming)】'''		'''【りょうてきけいかく (bynamic programming)】'''

−	~~動的計画法は単調性 monotonicity と再帰性 recursiveness (可分性 separability) の下で適用される~~. ~~この単調性は目的関数の「非減少性」を意味しているが~~, ~~これを両調性bitonicity「非減少性または非増加性のいずれか」まで拡大解釈すると~~, ~~より広い逐次決定過程が考えられる~~. これを[[両的計画]]と呼ぶ. 特に, 確率システム上では[[マルコフ両決定過程]][3]という. これは確率的動的計画法を単にマルコフ決定過程ということに準じている.	+	いわゆる動的計画法を2元連立的に考えた逐次最適化法. 単調性「非減少性」に代わって両調性「非減少性または非増加性のいずれか」の下では, 部分最大化問題群と部分最小化問題群の両群を考えて, 両群の相隣る問題間の関係を両帰式としてを導く. これを逐次解いて, 最後に与問題の最適解を求める方法である.負値乗法型, 負値乗加法型などの評価系が両的計画で解ける. 確率系ではマルコフ両決定過程ともいう
−
−	両的計画法によって最大化問題を解く場合, 与問題に対する部分最大化問題群ばかりでなく部分最小化問題群をも考える必要がある. このとき, 最大値関数と最小値関数の間に成り立つ連立再帰式を[[両帰式(動的計画法における)]] という. [[負値乗法型評価系]][1], [[負値乗加法型評価系]] [2] の最適化問題や[[最短最長ルート問題]]などは両帰式で解ける.
−
−	~~さて, 逐次決定過程が次の要素で与えられるとしよう：~~
−
−
−	~~\begin{eqnarray}~~
−	~~& & S~ \mbox{は状態空間},~~s_{n} \in S~ \mbox{は第}n\mbox{状態},~~A~~~
−	~~\mbox{は決定空間} \nonumber \\~~
−	~~& & A(s_{n})~ \mbox{は}s_{n}\mbox{での可能決定空間},~~a_{n} \in A(s_{n})~~
−	~~\mbox{は第}n\mbox{決定} \nonumber \\~~
−	~~& & r : S \times A \to \mbox{\bf R}^{1}~\mbox{は利得関数},~~\beta : S \times A \to~~
−	~~(-1,\,1)~\mbox{は割引き関数} \nonumber \\~~
−	~~& & k : S \to \mbox{\bf R}^{1}~\mbox{は終端関数},~~ T : S \times A \to~~
−	~~S~\mbox{は状態変換} \nonumber \\~~
−	~~& & p = \{p(t\|s,a)\}~\mbox{はマルコフ推移法則},~~\sum_{t \in S}p(t\|s,a) = 1,~~
−	~~~p(t\|s,a) \ge 0 \nonumber~~
−	~~\end{eqnarray}~~
−
−
−	~~このとき, 確定系上の負値乗加法評価系の最大化または最小化は~~
−
−
−	~~\begin{eqnarray}~~
−	~~& & {\rm max.~and~min.} \hspace{2mm} r_{1} + \beta_{1}r_{2} +~~
−	~~\beta_{1}\beta_{2}r_{3} + \cdots \nonumber \\[-2.10mm]~~
−	~~& & \hspace*{30mm} + \beta_{1}\beta_{2} \cdots \beta_{N-1}r_{N} +~~
−	~~\beta_{1}\beta_{2} \cdots \beta_{N}k \nonumber \\~~
−	~~& & \mbox{s. t.} \hspace{2mm}~~
−	~~T(s_n,a_n) = s_{n+1}, ~ a_{n} \in A(s_{n}) \hspace{4mm} (n = 1, 2, \ldots, N),~~
−	~~\nonumber~~
−	~~\end{eqnarray}~~
−
−
−	~~で表わされる. ただし ~$ r_{n} = r(s_{n},a_{n})~~,~~~~\beta_{n} =~~
−	~~\beta(s_{n},a_{n})~~.$
−	~~このとき, 第$n$段の状態 $ s_{n} $ から始まる部分問題~~
−	~~\begin{eqnarray}~~
−	~~& & {\rm max.~and~min.} \hspace{2mm} r_{n} + \beta_{n}r_{n+1} +~~
−	~~\beta_{n}\beta_{n+1}r_{n+2} + \cdots \nonumber \\[-2.10mm]~~
−	~~& & \hspace*{28mm} + \beta_{n}\beta_{n+1} \cdots \beta_{N-1}r_{N} +~~
−	~~\beta_{n}\beta_{n+1} \cdots \beta_{N}k \nonumber \\~~
−	~~& & \mbox{s. t.} \hspace{2mm}~~
−	~~T(s_m,a_m) = s_{m+1}, ~ a_{m} \in A(s_{m}) \hspace{4mm} (m = n, n+1, \ldots, N ), \nonumber~~
−	~~\end{eqnarray}~~
−	~~の最大値を $ U_{n}(s_{n}) $, 最小値を $ u_{n}(s_{n}) $~~
−	~~とすると, 両最適値関数は両帰式~~
−	~~\begin{eqnarray}~~
−	~~&& U_{n}(s) = \mathop{{\rm max}}_{a:-}T(s,a; u_{n+1}) \vee \mathop{{\rm~~
−	~~max}}_{a:+}T(s,a; U_{n+1}) \nonumber \\~~
−	~~&& u_{n}(s) = \mathop{{\rm min}}_{a:-}T(s,a; U_{n+1}) \wedge \mathop{{\rm~~
−	~~min}}_{a:+}T(s,a; u_{n+1}) \label{eqn:A-E-02+dbe00} \\~~
−	~~&& U_{N+1}(s) = u_{N+1}(s) = k(s) \nonumber~~
−	~~\end{eqnarray}~~
−	~~を満たす. ここに~ $ T(s,a; w) := r(s,a) + \beta(s,a)w(T(s,a)), $~ $a:-(+)$~~
−	~~は $ \beta(s,a) <(\ge)\, 0 $ なる $a$ である. \par~~
−	%
−	%
−	~~また, マルコフ推移法則 $ p = \{p(t\|s,a)\} $ 上での期待値最適化問題~~
−
−
−	~~\begin{eqnarray}~~
−	~~& & {\rm max.~and~min.} \hspace{2mm} E[\,r_{1} + \beta_{1}r_{2} +~~
−	~~\beta_{1}\beta_{2}r_{3} + \cdots \nonumber \\[-2.10mm]~~
−	~~& & \hspace*{42mm} + \beta_{1}\beta_{2} \cdots \beta_{N-1}r_{N} +~~
−	~~\beta_{1}\beta_{2} \cdots \beta_{N}k\,] \nonumber \\~~
−	~~& & \mbox{s. t.} \hspace{2mm}~~
−	~~p(\cdot\|s_n,a_n) \sim s_{n+1}, ~ a_{n} \in A(s_{n}) \hspace{4mm}~~
−	~~(n = 1,2, \ldots ), \nonumber~~
−	~~\end{eqnarray}~~
−
−
−	~~の両帰式は一次変換~~
−	$$
−	~~T(s,a; w) := r(s,a) + \beta(s,a) {\displaystyle \sum_{t \in S}w(t)p(t\|s,a)}~~
−	$$
−	~~を用いて(\ref{eqn:A-E-02+dbe00})と同じ型で与えられる[4].~~
−
−
−	~~----~~
−	~~'''参考文献'''~~
−
−	~~[1] R. Bellman, ''Dynamic Programming'', Princeton Univ. Press, 1957.~~
−
−	~~[2] S. Iwamoto, "From Dynamic Programming to Bynamic programming," ''Journal of Mathematical Analysis and Applications'', '''177''' (1993), 56-74.~~
−
−	~~[3] S. Iwamoto, "On Bidecision Processes," ''Journal of Mathematical Analysis and Applications'', '''187''' (1994), 676-699.~~
−
−	~~[4] T. Fujita and K. Tsurusaki, "Stochastic Optimization of Multiplicative Functions with Negative Value," ''Journal of the Operations Research Society of Japan'', '''41''' (1998)~~, ~~351-373~~.