大規模問題の分解法 - 版の履歴

Imahori: 基礎編と用語編のマージ

2008-03-13T13:48:24Z

基礎編と用語編のマージ

2007年8月8日 (水) 11:34にKanda.kによる

2007-08-08T11:34:04Z

Orsjwiki: "大規模問題の分解法" を保護しました。 [edit=sysop:move=sysop]

2007-07-20T02:11:28Z

"大規模問題の分解法" を保護しました。 [edit=sysop:move=sysop]

2007年7月13日 (金) 04:54に122.17.2.240による

2007-07-13T04:54:12Z

2007年7月3日 (火) 05:51にOrsjwikiによる

2007-07-03T05:51:34Z

差分を表示

2007年7月3日 (火) 04:26にOrsjwikiによる

2007-07-03T04:26:39Z

Orsjwiki: 新しいページ: ''''【だいきぼもんだいのぶんかいほう (decomposition method for large-scale problems)】''' 　現実世界で発生する複雑な問題を最適化問題とし...'

2007-06-29T06:53:36Z

新しいページ: ''''【だいきぼもんだいのぶんかいほう (decomposition method for large-scale problems)】''' 　現実世界で発生する複雑な問題を最適化問題とし...'

新規ページ

'''【だいきぼもんだいのぶんかいほう (decomposition method for large-scale problems)】'''

　現実世界で発生する複雑な問題を最適化問題としてモデル化すると，非常に多くの変数や制約条件をもつ大規模問題になることが多い．計算機を用いてその解を求める場合，目的関数や制約条件式がすべて線形であっても，変数や制約条件の数が増えるとともに計算時間は急激に増加する．また，それらの一部に非線形の項が含まれると，問題の解きにくさは飛躍的に増大する．そこで，大規模問題を直接解くのではなく，一部の変数や制約条件だけから成る小規模な，または，解きやすい部分問題を逐次解くことにより，もとの問題の解を得ようとするアルゴリズムが提案されている．それらを一般に[[大規模問題の分解法]] (decomposition method for large-scale problems) と呼ぶ [3]．

　現実の大規模問題は，しばしば特徴的なブロック構造をもつ．たとえば，$n$ 個の比較的独立な部分から成るシステムが共通の変数 $x_{0}$ を含む場合は，

\begin{equation} \label{A-B-08+eq1}
\begin{array}{llll}
\mbox{min.} & f_{0}(x_{0}) + \sum_{j=1}^{n} f_{j}(x_{j}) & & \\
\mbox{s. t.} & g_{0}(x_{0}) & \leq 0, & \\
& g_{j}(x_{0}) + \hfill h_{j}(x_{j}) & \leq 0 &
(j = 1, \ldots, n),
\end{array}
\end{equation}

という最適化問題が得られる．この問題は，変数 $x_{0}$ を一時的に固定すると，

\begin{equation} \label{A-B-08+eq2}
\mbox{min.} \quad f_{j}(x_{j}) \quad
\mbox{s. t.} \quad g_{j}(x_{0}) + h_{j}(x_{j}) \leq 0,
\end{equation}

という $n$ 個の部分問題に分解される．[[ベンダース分解法]] (Benders decomposition method) はこのような性質を利用しており，関数 $f_{j}$, $h_{j}$ が線形ならば，有限回の反復でもとの問題の解に到達できることが知られている．さらに，分解された部分問題はたがいに独立であり，それらは比較的大きい（粒度が粗い）問題となるため， MIMD (multiple instruction stream multiple data stream) 型の並列計算機で効率よく実行できる．

　また，システム全体にまたがる付加的な制約条件が存在する場合は，

\begin{equation} \label{A-B-08+eq3}
\begin{array}{llll}
\mbox{min.} &
f_{0}(x_{0}) + \sum_{j=1}^{n} f_{j}(x_{j}) & & \\
\mbox{s. t.} &
g_{0}(x_{0}) + \sum_{j=1}^{n} g_{j}(x_{j}) & \leq 0, & \\
& \hfill h_{j}(x_{j}) & \leq 0 &
(j = 1, \ldots, n),
\end{array}
\end{equation}

という最適化問題が得られるが，$g_{j}$ を含む制約条件をラグランジュ緩和により目的関数に組み込み, さらに変数 $x_0$ を一時的に固定すると, 問題 (2) に類似した$n$ 個の独立な部分問題に分解される．とくにすべての関数が線形ならば，問題 (3) は部分問題の解を用いて効率的に解けることが知られており，[[ダイツィク・ウルフ分解法]] (Dantzig-Wolfe decomposition method) と呼ばれている．

　一方，大規模で複雑な問題から取り扱いやすい構造をもつ部分のみを抽出して部分問題を構成し，これを逐次解くことによりもとの問題の解を得ようとする方法は，分割法 (splitting method) と呼ばれている．分割法は，問題 (1) や (3) のようなブロック構造をもたない問題にも適用可能である．また，並列処理可能な部分問題を構成すれば，それらはしばしば小規模な（粒度の細かい）問題となり，SIMD (single instruction stream multiple data stream) 型の大規模並列計算機を用いて効率的に実行できる．

　分割法は，線形方程式に対する反復法として，線形代数の分野において古くから研究されている．行列 $M$ とベクトル $q$ により定義される線形方程式

M x + q = 0

に対して，条件 $M = B + C$ を満たす行列 $B$, $C$ を選び，方程式

\begin{equation} \label{A-B-08+eq4}
B x + C x^{(k)} + q = 0
\end{equation}

の解を $x^{(k+1)}$ とおくことにより点列 $\{ x^{(k)} \}$ を生成する方法は，[[行列分割法]] (matrix splitting method) と呼ばれる．行列 $B$ を (ブロック) 対角行列に選べば方程式 (4) は並列的に解けるので，大規模問題に対する効率的な解法を得る．行列分割法は，線形相補性問題や線形変分不等式問題にも拡張できる．

　一般の凸計画問題に対しても，分割法に基づくアルゴリズムを構成できる．凸計画問題は，最適性条件を考慮すると，ある写像 $F: \mbox{\bf R}^{n} \rightarrow \mbox{\bf R}^{n}$ を用いて

\begin{equation} \label{A-B-08+eq5}
\mbox{find} \quad x \in \mbox{\bf R}^{n} \quad
\mbox{s. t.} \quad 0 \in F(x),
\end{equation}

と記述される．条件 $F = G + H$ を満たす写像 $G$, $H$ を選び，部分問題

\begin{equation} \label{A-B-08+eq6}
\mbox{find} \quad x \in \mbox{\bf R}^{n} \quad
\mbox{s. t.} \quad 0 \in G(x) + H(x^{(k)}),
\end{equation}

の解を $x^{(k+1)}$ とする反復法は，[[作用素分割法]] (operator splitting method) と呼ばれる．写像 $G$ が分離可能ならば部分問題 (6) は並列的に解けるので，大規模な凸計画問題に対する効率的な解法が得られる．

　問題 (5) に対する有力な反復法に，[[近接点法]] (proximal point method) がある．近接点法では，単調非減少な正定数の列 $\{ \lambda^{(k)} \}$ を定め，問題

\mbox{find} \quad x \in \mbox{\bf R}^{n} \quad
\mbox{s. t.} \quad ( x^{(k)} - x ) \, / \, \lambda^{(k)} \in F(x),

の解を $x^{(k+1)}$ とおく．作用素分割法や近接点法は，一般的な最適化問題のクラスである変分不等式問題にも拡張できる．また，これらの方法を組合せることによりさまざまな[[並列アルゴリズム（数理計画問題の）]](parallel algorithm (nonlinear programming)) を構成できることが知られている．このような考え方に基づく並列アルゴリズムについては，参考文献 [1, 2] に詳しい解説がある．

----
'''参考文献'''

[1] D. P. Bertsekas and J. N. Tsitsiklis, ''Parallel and Distributed Computation: Numerical Methods'', Prentice-Hall, 1989.

[2] Y. Censor and S. A. Zenios, ''Parallel Optimization: Theory, Algorithms, and Applications'', Oxford University Press, 1997.

[3] J. F. Shapiro, ''Mathematical Programming: Structures and Algorithms'', John Wiley & Sons, 1979.

@@ 1行目: / 1行目: @@
 '''【だいきぼもんだいのぶんかいほう (decomposition method for large-scale problems)】'''
 非常に多くの変数や制約条件をもつ最適化問題を, 一部の変数または制約条件だけから成る小さな部分問題の列に変換して解く方法. その多くは, 現実の大規模問題がしばしばもつブロック構造を利用している. 単に大規模問題が実際に解けるようになるだけでなく, もとの問題には見られなかった特徴的な構造が部分問題に現れて, 取り扱いが容易になる場合がある. 特に, 各部分問題が独立に解ける場合には, 並列アルゴリズムを構成する有力な手段となる.
-詳しくは[[《大規模問題の分解法》|基礎編：大規模問題の分解法]]を参照.
+=== 詳説 ===

← 古い版		2007年8月8日 (水) 11:34時点における版
2行目:		2行目:

	非常に多くの変数や制約条件をもつ最適化問題を, 一部の変数または制約条件だけから成る小さな部分問題の列に変換して解く方法. その多くは, 現実の大規模問題がしばしばもつブロック構造を利用している. 単に大規模問題が実際に解けるようになるだけでなく, もとの問題には見られなかった特徴的な構造が部分問題に現れて, 取り扱いが容易になる場合がある. 特に, 各部分問題が独立に解ける場合には, 並列アルゴリズムを構成する有力な手段となる.		非常に多くの変数や制約条件をもつ最適化問題を, 一部の変数または制約条件だけから成る小さな部分問題の列に変換して解く方法. その多くは, 現実の大規模問題がしばしばもつブロック構造を利用している. 単に大規模問題が実際に解けるようになるだけでなく, もとの問題には見られなかった特徴的な構造が部分問題に現れて, 取り扱いが容易になる場合がある. 特に, 各部分問題が独立に解ける場合には, 並列アルゴリズムを構成する有力な手段となる.
		+
		+	詳しくは[[《大規模問題の分解法》\|基礎編：大規模問題の分解法]]を参照.

← 古い版		2007年7月13日 (金) 04:54時点における版
1行目:		1行目:
	'''【だいきぼもんだいのぶんかいほう (decomposition method for large-scale problems)】'''		'''【だいきぼもんだいのぶんかいほう (decomposition method for large-scale problems)】'''

−	現実世界で発生する複雑な問題を最適化問題としてモデル化すると，非常に多くの変数や制約条件をもつ大規模問題になることが多い．計算機を用いてその解を求める場合，目的関数や制約条件式がすべて線形であっても，変数や制約条件の数が増えるとともに計算時間は急激に増加する．また，それらの一部に非線形の項が含まれると，問題の解きにくさは飛躍的に増大する．そこで，大規模問題を直接解くのではなく，一部の変数や制約条件だけから成る小規模な，または，解きやすい部分問題を逐次解くことにより，もとの問題の解を得ようとするアルゴリズムが提案されている．それらを一般に[[大規模問題の分解法]] (decomposition method for large-scale problems) と呼ぶ [3]．	+	非常に多くの変数や制約条件をもつ最適化問題を, 一部の変数または制約条件だけから成る小さな部分問題の列に変換して解く方法. その多くは, 現実の大規模問題がしばしばもつブロック構造を利用している. 単に大規模問題が実際に解けるようになるだけでなく, もとの問題には見られなかった特徴的な構造が部分問題に現れて, 取り扱いが容易になる場合がある. 特に, 各部分問題が独立に解ける場合には, 並列アルゴリズムを構成する有力な手段となる.
−
−	~~現実の大規模問題は，しばしば特徴的なブロック構造をもつ．たとえば，<math>n\~~, ~~</math>個の比較的独立な部分から成るシステムが共通の変数 <math>x_{0}\, </math>を含む場合は，~~
−
−
−	~~:<math>\begin{array}{llrlll}~~
−	~~\mbox{min.} & f_{0}(x_{0}) + & \sum_{j=1}^{n} f_{j}(x_{j})\\~~
−	~~\mbox{s. t~~.~~} & g_{0}(x_{0}) & & \leq 0, & & \quad \mbox{(1)}\\~~
−	~~& g_{j}(x_{0}) + & h_{j}(x_{j}) & \leq 0 &~~
−	~~(j = 1~~, ~~\ldots, n),~~
−	~~\end{array}\, </math>~~
−
−
−	~~という最適化問題が得られる．この問題は，変数 <math>x_{0}\, </math> を一時的に固定すると，~~
−
−
−	~~:<math>\begin{array}{llll}~~
−	~~\mbox{min~~.~~} \quad f_{j}(x_{j}) \quad~~
−	~~\mbox{s. t.} \quad g_{j}(x_{0}) + h_{j}(x_{j}) \leq 0~~, ~~& & \quad \mbox{(2)}~~
−	~~\end{array}\~~, ~~</math>~~
−
−
−	という <math>n\, </math> 個の部分問題に分解される．[[ベンダース分解法]] (Benders decomposition method) はこのような性質を利用しており，関数 <math>f_{j}\, </math>, <math>h_{j}\, </math> が線形ならば，有限回の反復でもとの問題の解に到達できることが知られている．さらに，分解された部分問題はたがいに独立であり，それらは比較的大きい（粒度が粗い）問題となるため， MIMD (multiple instruction stream multiple data stream) 型の並列計算機で効率よく実行できる．
−
−	~~また，システム全体にまたがる付加的な制約条件が存在する場合は，~~
−
−
−	~~:<math>\begin{array}{lrllll}~~
−	~~\mbox{min.} & f_{0}(x_{0}) + \sum_{j=1}^{n} f_{j}(x_{j}) & & \\~~
−	~~\mbox{s. t~~.~~} & g_{0}(x_{0}) + \sum_{j=1}^{n} g_{j}(x_{j}) & \leq 0, & & \quad \mbox{(3)}\\~~
−	~~& h_{j}(x_{j}) & \leq 0 & (j = 1, \ldots, n),~~
−	~~\end{array}\, </math>~~
−
−
−	という最適化問題が得られるが，<math>g_{j}\, </math> を含む制約条件をラグランジュ緩和により目的関数に組み込み, さらに変数 <math>x_0\, </math> を一時的に固定すると, 問題 (2) に類似した<math>n\, </math> 個の独立な部分問題に分解される．とくにすべての関数が線形ならば，問題 (3) は部分問題の解を用いて効率的に解けることが知られており，[[ダイツィク・ウルフ分解法]] (Dantzig-Wolfe decomposition method) と呼ばれている．
−
−	一方，大規模で複雑な問題から取り扱いやすい構造をもつ部分のみを抽出して部分問題を構成し，これを逐次解くことによりもとの問題の解を得ようとする方法は，分割法 (splitting method) と呼ばれている．分割法は，問題 (1) や (3) のようなブロック構造をもたない問題にも適用可能である．また，並列処理可能な部分問題を構成すれば，それらはしばしば小規模な（粒度の細かい）問題となり，SIMD (single instruction stream multiple data stream) 型の大規模並列計算機を用いて効率的に実行できる．
−
−	分割法は，線形方程式に対する反復法として，線形代数の分野において古くから研究されている．行列 <math>M\, </math> とベクトル <math>q\, </math> により定義される線形方程式
−
−
−	~~:<math>M x + q = 0\, </math>~~
−
−
−	~~に対して，条件 <math>M = B + C\, </math> を満たす行列 <math>B\, </math>, <math>C\, </math> を選び，方程式~~
−
−
−	~~:<math>\begin{array}{ll}~~
−	~~B x + C x^{(k)} + q = 0 & \mbox{(4)}~~
−	~~\end{array}\, </math>~~
−
−
−	の解を <math>x^{(k+1)}\, </math> とおくことにより点列 <math>\{ x^{(k)} \}\, </math> を生成する方法は，[[行列分割法]] (matrix splitting method) と呼ばれる．行列 <math>B\, </math> を (ブロック) 対角行列に選べば方程式 (4) は並列的に解けるので，大規模問題に対する効率的な解法を得る．行列分割法は，線形相補性問題や線形変分不等式問題にも拡張できる．
−
−	一般の凸計画問題に対しても，分割法に基づくアルゴリズムを構成できる．凸計画問題は，最適性条件を考慮すると，ある写像 <math>F: \mathbf{R}^{n} \rightarrow \mathbf{R}^{n}\, </math> を用いて
−
−
−	~~:<math>\begin{array}{ll}~~
−	~~\mbox{find} \quad x \in \mathbf{R}^{n} \quad~~
−	~~\mbox{s. t.} \quad 0 \in F(x), & \quad \mbox{(5)}~~
−	~~\end{array}\, </math>~~
−
−
−	~~と記述される．条件 <math>F = G + H\, </math> を満たす写像 <math>G\, </math>, <math>H\, </math> を選び，部分問題~~
−
−
−	~~:<math>\begin{array}{ll}~~
−	~~\mbox{find} \quad x \in \mathbf{R}^{n} \quad~~
−	~~\mbox{s. t.} \quad 0 \in G(x) + H(x^{(k)}), & \quad \mbox{(6)}~~
−	~~\end{array}\, </math>~~
−
−
−	の解を <math>x^{(k+1)}\, </math> とする反復法は，[[作用素分割法]] (operator splitting method) と呼ばれる．写像 <math>G\, </math> が分離可能ならば部分問題 (6) は並列的に解けるので，大規模な凸計画問題に対する効率的な解法が得られる．
−
−	問題 (5) に対する有力な反復法に，[[近接点法]] (proximal point method) がある．近接点法では，単調非減少な正定数の列 <math>\{ \lambda^{(k)} \}\, </math> を定め，問題
−
−
−	~~:<math>\mbox{find} \quad x \in \mathbf{R}^{n} \quad~~
−	~~\mbox{s. t.} \quad ( x^{(k)} - x ) \, / \, \lambda^{(k)} \in F(x),\, </math>~~
−
−
−	の解を <math>x^{(k+1)}\, </math> とおく．作用素分割法や近接点法は，一般的な最適化問題のクラスである変分不等式問題にも拡張できる．また，これらの方法を組合せることによりさまざまな[[並列アルゴリズム(数理計画問題の)]](parallel algorithm (nonlinear programming)) を構成できることが知られている．このような考え方に基づく並列アルゴリズムについては，参考文献 [1, 2] に詳しい解説がある．
−
−
−
−	~~----~~
−	~~'''参考文献'''~~
−
−	~~[1] D. P. Bertsekas and J. N. Tsitsiklis, ''Parallel and Distributed Computation: Numerical Methods'', Prentice-Hall, 1989.~~
−
−	~~[2] Y. Censor and S. A. Zenios, ''Parallel Optimization: Theory, Algorithms, and Applications'', Oxford University Press, 1997.~~
−
−	~~[3] J. F. Shapiro, ''Mathematical Programming: Structures and Algorithms''~~, ~~John Wiley & Sons~~, ~~1979~~.

← 古い版		2007年7月3日 (火) 04:26時点における版
89行目:		89行目:


−	の解を $x^{(k+1)}$ とおく．作用素分割法や近接点法は，一般的な最適化問題のクラスである変分不等式問題にも拡張できる．また，これらの方法を組合せることによりさまざまな[[~~並列アルゴリズム（数理計画問題の）~~]](parallel algorithm (nonlinear programming)) を構成できることが知られている．このような考え方に基づく並列アルゴリズムについては，参考文献 [1, 2] に詳しい解説がある．	+	の解を $x^{(k+1)}$ とおく．作用素分割法や近接点法は，一般的な最適化問題のクラスである変分不等式問題にも拡張できる．また，これらの方法を組合せることによりさまざまな[[並列アルゴリズム(数理計画問題の)]](parallel algorithm (nonlinear programming)) を構成できることが知られている．このような考え方に基づく並列アルゴリズムについては，参考文献 [1, 2] に詳しい解説がある．

← 古い版	2007年7月20日 (金) 02:11時点における版
(相違点なし)