[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]
Debian JP master SVN www commits (rev.1339)
=======================================================
Repository: /org/svn.debian.or.jp/repos
Revision: 1339
Commiter: henrich
Date: 2012-12-13 14:00:43 +0900 (木, 13 12月 2012)
=======================================================
Log:
not volatile but backports
=======================================================
Changed:
U www/trunk/src/community/push-mirror.tt2
U www/trunk/src/using/mirror.tt2
Modified: www/trunk/src/community/push-mirror.tt2
===================================================================
--- www/trunk/src/community/push-mirror.tt2 2012-12-13 03:58:00 UTC (rev 1338)
+++ www/trunk/src/community/push-mirror.tt2 2012-12-13 05:00:43 UTC (rev 1339)
@@ -6,19 +6,21 @@
Debian JP Project では、1 つのサーバがダウンしただけで APT によるパッケージのダウンロードができなくなるといった障害に対処するため、複数の Debian ミラーサーバを仮想的に集約して耐障害性を持たせる CDN (Contents Delivery Network) 化を進めています。CDN ミラーには、次の APT リポジトリでアクセスできます (<a href="http://www.debian.or.jp/blog/cdn_debian_or_jp-start.html";>詳細</a>)。</p>
<pre>
-deb http://cdn.debian.net/debian/ [% stable_codename %] main contrib non-free
-deb-src http://cdn.debian.net/debian/ [% stable_codename %] main contrib non-free
-deb http://cdn.debian.net/debian-volatile/ [% stable_codename %]/volatile main contrib non-free
-deb-src http://cdn.debian.net/debian-volatile/ [% stable_codename %]/volatile main contrib non-free
+deb http://ftp.jp.debian.org/debian/ [% stable_codename %] main contrib non-free
+deb http://ftp.jp.debian.org/debian/ [% stable_codename %]-updates main contrib
+deb http://ftp.jp.debian.org/debian-backports/ [% stable_codename %]-backports main contrib non-free
+#deb-src http://ftp.jp.debian.org/debian/ [% stable_codename %] main contrib non-free
+#deb-src http://ftp.jp.debian.org/debian/ [% stable_codename %]-updates main contrib
+#deb-src http://ftp.jp.debian.org/debian-backports/ [% stable_codename %]-backports main contrib non-free
</pre>
<p>または</p>
<pre>
-deb http://ftp.jp.debian.org/debian/ [% stable_codename %] main contrib non-free
-deb-src http://ftp.jp.debian.org/debian/ [% stable_codename %] main contrib non-free
-deb http://ftp.jp.debian.org/debian-volatile/ [% stable_codename %]/volatile main contrib non-free
-deb-src http://ftp.jp.debian.org/debian-volatile/ [% stable_codename %]/volatile main contrib non-free
+deb http://cdn.debian.net/debian/ [% stable_codename %] main contrib non-free
+deb http://cdn.debian.net/debian/ [% stable_codename %]-updates main contrib
+#deb-src http://cdn.debian.net/debian/ [% stable_codename %] main contrib non-free
+#deb-src http://cdn.debian.net/debian/ [% stable_codename %]-updates main contrib
</pre>
<p>(※[% stable_codename %] 以外にも、Debian 公式ミラーで提供されている stable、testing、unstable、[% oldstable_codename %]、[% testing_codename %]、sid、experimental といった名前も利用できます)</p>
@@ -33,10 +35,10 @@
</p>
<ul>
-<li>Debian および Debian Volatile のフルミラーであること。 つまり、ftp.debian.org で公開されているものと同様に、すべてのアーキテクチャ、膨大なすべてのファイルを格納する必要があります。</li>
+<li>Debian のフルミラーであること。 つまり、ftp.debian.org で公開されているものと同様に、すべてのアーキテクチャ、膨大なすべてのファイルを格納する必要があります。</li>
<li>push ミラーであること。詳細は後述しますが、上流ミラーが更新を完了したタイミングでシグナルを送り、それを受けてミラーを行うようにします。こうすることで、上流がまだ更新中なのにミラーを行って APT の整合性を壊した状態にしてしまったり、上流のハードウェアクラッシュを受けて一緒にミラーを失ってしまったりといった事態を回避しやすくなります。</li>
-<li>Debian のミラーは HTTP (Web サーバ) で提供されており、Web ブラウザから見て /debian ディレクトリおよび /debian-volatile の下にあること。エイリアスや rewrite モジュールなどを使ってもかまいません。ただし、HTTP リダイレクトヘッダは APT ツールが対応していないので利用できません。</li>
-<li>cdn.debian.net への加盟には不要ですが、ftp.jp.debian.org に加盟するには、FTP サービス (/debian および /debian-volatile として見えること。シンボリックリンクの使用も可能) および rsync サービス (::debian および ::debian-volatile として見えること) を提供する必要があります。</li>
+<li>Debian のミラーは HTTP (Web サーバ) で提供されており、Web ブラウザから見て /debian ディレクトリおよび /debian-backports の下にあること。エイリアスや rewrite モジュールなどを使ってもかまいません。ただし、HTTP リダイレクトヘッダは APT ツールが対応していないので利用できません。</li>
+<li>cdn.debian.net への加盟には不要ですが、ftp.jp.debian.org に加盟するには、FTP サービス (/debian および /debian-backports として見えること。シンボリックリンクの使用も可能) および rsync サービス (::debian および ::debian-backports として見えることとして見えること) を提供する必要があります。</li>
</ul>
<p>
@@ -44,7 +46,7 @@
</p>
<ul>
-<li><strong>大容量ディスク:</strong> ミラーをするために何よりも必要なのは、大きなディスクです。現時点 (2010年9月) で<a href="http://www.debian.org/mirror/size";>フルミラーには 430GB 程度を消費しており</a>、将来見込まれる増加を前提とすると最低でも 1TB 以上のクラスのディスク容量が必要になります。ミラーするアーテキクチャを絞ればディスクの消費は抑えられますが、本ドキュメントでは CDN の一員とするための条件であるフルミラーを行うものとします。RAID は必須ではありませんが、ディスク障害によってミラーが消失すると、復旧に時間がかかることになります。</li>
+<li><strong>大容量ディスク:</strong> ミラーをするために何よりも必要なのは、大きなディスクです。現時点 (2012年12月) で<a href="http://www.debian.org/mirror/size";>フルミラーには 630GB 程度、backportsには 50GB を消費しており</a>、将来見込まれる増加を前提とすると最低でも 1TB 以上のクラスのディスク容量が必要になります。ミラーするアーテキクチャを絞ればディスクの消費は抑えられますが、本ドキュメントでは CDN の一員とするための条件であるフルミラーを行うものとします。RAID は必須ではありませんが、ディスク障害によってミラーが消失すると、復旧に時間がかかることになります。</li>
<li><strong>安定した広帯域ネットワークと堅固なハードウェア:</strong> ミラーとなったサーバには、(CDN では分散されるとはいえ) 多数のディスクアクセスおよびネットワークアクセスが発生することになります。特に rsync で上流ミラーに追従する最中は、短時間のうちに多量のアクセスが起こり、高負荷になります。たとえば安価な NAS のようなものではこの負荷に対処しきれず、頻繁なクラッシュが起きる可能性もあります。<a href="../project/organization.html#admin">管理チーム</a>では、x86 アーキテクチャのように十分に枯れたものを推奨しています。</li>
<li><strong>Unix OS:</strong> 基本的には、rsync と Web サーバ (ftp.jp.debian.org に加盟するには FTP サーバも) が動作すれば OS は特に問いません (実際、Debian GNU/Linux を使っていない Debian ミラーもいくつかあります)。でも、Debian ならきっと簡単ですよ :)</li>
<li><strong>十分な実メモリ:</strong> rsync および Web サーバ (通常は Apache) は、実メモリを多量に消費します。<a href="../project/organization.html#admin">管理チーム</a>の経験では、最低でも 512MB、できれば 1GB 以上のメモリを塔載しているのが望ましいと思われます。</li>
@@ -69,7 +71,7 @@
<ul>
<li>TO: Debian ミラーを配置するディレクトリ。たとえば /var/www/debian。事前に空ディレクトリを用意し、ミラーを実行するユーザが書き込める必要があります</li>
<li>RSYNC_PATH: 上流ミラーで公開されている Debian ミラーの名前。通常は「debian」</li>
- <li>RSYNC_HOST: Debian 上流ミラー。たとえば ftp.nara.wide.ad.jp。push ミラーサービスを開始するにあたってどの上流を選ぶべきかは<a href="../project/organization.html#board">理事会</a>または<a href="../project/organization.html#admin">管理チーム</a>に問い合わせてください。最初の時点では手近なミラーでかまいません</li>
+ <li>RSYNC_HOST: Debian 上流ミラー。たとえば ftp.jaist.ac.jp。push ミラーサービスを開始するにあたってどの上流を選ぶべきかは<a href="../project/organization.html#board">理事会</a>または<a href="../project/organization.html#admin">管理チーム</a>に問い合わせてください。最初の時点では手近なミラーでかまいません</li>
<li>LOGDIR: ミラーログを置くディレクトリ。たとえば /home/andy/logs。ミラーを実行するユーザが書き込める必要があります</li>
<li>MAILTO: ログを送付するアドレス。長大ですし、通常はコメントアウトされたままでよいでしょう</li>
<li>EXCLUDE: 除外するファイル。フルミラーのためには空のままにしておきます</li>
@@ -83,19 +85,18 @@
<li>上流からミラーがうまくできたことを確認したら一段落です。Web サーバ経由で http://サーバ名/debian/ でミラーを参照できる (つまり、http://サーバ名/debian/dists/stable のように参照できる) ようにしておきましょう。</li>
</ol>
-<p>debian-volatile ミラーも同様に構成します。</p>
+<p>debian-backports ミラーも同様に構成します。</p>
<ol>
-<li>etc/ftpsync.conf.sample を etc/ftpsync-volatile.conf としてコピーし、必要な箇所のコメント記号#を外して編集します。<ul>
- <li>TO: たとえば /var/www/debian-volatile</li>
- <li>RSYNC_PATH: 通常は「debian-volatile」</li>
- <li>RSYNC_HOST: たとえば ftp.nara.wide.ad.jp</li>
+<li>etc/ftpsync.conf.sample を etc/ftpsync-backports.conf としてコピーし、必要な箇所のコメント記号#を外して編集します。<ul>
+ <li>TO: たとえば /var/www/debian-backports</li>
+ <li>RSYNC_PATH: 通常は「debian-backports」</li>
+ <li>RSYNC_HOST: たとえば ftp.jaist.ac.jp</li>
<li>LOGDIR: たとえば /home/andy/logs</li>
</ul>
</li>
-<li>ftpsync にオプションを付けて、「~/bin/ftpsync sync:archive:volatile」と実行します。LOGDIR で指定したディレクトリにログ rsync-ftpsync-volatile.log が書き込まれます。</li>
+<li>ftpsync にオプションを付けて、「~/bin/ftpsync sync:archive:backports」と実行します。LOGDIR で指定したディレクトリにログ rsync-ftpsync-backports.log が書き込まれます。</li>
</ol>
-
<h3>push ミラー化する</h3>
<p>前述の方法で上流からミラーを引っ張ってくる (pull) ことはできるようになりましたが、いつ上流の更新のミラーを行うかという問題があります。だいたいのアタリを付けて cron で定期的に実行するという方法もありますが、上流で何か不具合があったときにはその影響を被ってしまいます。push ミラーは、上流が自身のミラーの完了後に下流に向けてシグナルを送り (push)、これを受けて初めて下流がミラーを開始するというものです (下図を参照)。
@@ -104,24 +105,24 @@
<div class="img"><img src="pushmirror.png" width="568" height="365" alt="pushミラーの仕組み"></div>
<p>
-シグナルには、SSH アクセスが一般的に用いられています。上流のミラーユーザの Debian ミラーおよび Debian Volatile ミラーのための SSH 公開鍵 (<a href="../project/organization.html#board">理事会</a>または<a href="../project/organization.html#admin">管理チーム</a>に尋ねてください) をサイト上のミラーユーザの認証済み鍵リング (~/.ssh/authorized_keys) に加え、この鍵でのアクセスを受けたときに anonftpsync を起動する、というように設定します。
+シグナルには、SSH アクセスが一般的に用いられています。上流のミラーユーザの Debian ミラーのための SSH 公開鍵 (<a href="../project/organization.html#board">理事会</a>または<a href="../project/organization.html#admin">管理チーム</a>に尋ねてください) をサイト上のミラーユーザの認証済み鍵リング (~/.ssh/authorized_keys) に加え、この鍵でのアクセスを受けたときに ftpsync を起動する、というように設定します。
</p>
<pre>
no-port-forwarding,no-X11-forwarding,no-agent-forwarding,no-pty,command="/home/ftpadm/bin/ftpsync &" ssh-rsa AB12....2vIg== ftpadm@ftp.debian.or.jp
-no-port-forwarding,no-X11-forwarding,no-agent-forwarding,no-pty,command="/home/ftpadm/bin/ftpsync sync:archive:volatile &" ssh-rsa EF34....4zBc== ftpadm@ftp.debian.or.jp-volatile
+no-port-forwarding,no-X11-forwarding,no-agent-forwarding,no-pty,command="/home/ftpadm/bin/ftpsync sync:archive:backports &" ssh-rsa EF34....4zBc== ftpadm@ftp.debian.or.jp-backports
</pre>
<p>上流からシグナルの送信テストを行い、ミラースクリプトが起動することを確認します。あとは、マスターサーバでの更新が発生するごとに順にシグナルとミラーの波及が行われるようになります。</p>
<h3>push ミラー元の設定</h3>
-<p>ちなみにシグナルを送る側は、etc/runmirrors.conf.sample を etc/runmirrors.conf と etc/runmirrors-volatile.conf としてコピーし、これを編集します。</p>
+<p>ちなみにシグナルを送る側は、etc/runmirrors.conf.sample を etc/runmirrors.conf と etc/runmirrors-backports.conf としてコピーし、これを編集します。</p>
<ul>
-<li>KEYFILE: 相手に SSH ログインするときに使う秘密鍵ファイル。Debian ミラー (runmirrors.conf) と Debian Volatile ミラー (runmirrors-volatile.conf) では異なる鍵ファイルを指定する必要がある</li>
+<li>KEYFILE: 相手に SSH ログインするときに使う秘密鍵ファイル。Debian ミラー (runmirrors.conf) と Debian backports ミラー (runmirrors-backports.conf) では異なる鍵ファイルを指定する必要がある</li>
<li>LOGDIR: ftpsync.conf と合わせる</li>
</ul>
-<p>同様に、etc/runmirrors.mirror.sample を etc/runmirrors.mirror と etc/runmirrors-volatile.mirror としてコピーし、ミラーシグナルを送るホストの情報を末尾に指定します。一般的な書式は次のとおりです。</p>
+<p>同様に、etc/runmirrors.mirror.sample を etc/runmirrors.mirror と etc/runmirrors-backports.mirror としてコピーし、ミラーシグナルを送るホストの情報を末尾に指定します。一般的な書式は次のとおりです。</p>
<pre>
all ホスト名またはニックネーム ホスト名 相手ユーザ名
@@ -133,7 +134,7 @@
all ftp.example.jp ftp.example.jp ftpadm
</pre>
-<p>etc/ftpsync.conf および etc/ftpsync-volatile.conf の HUB 行のコメントを取り、「HUB=true」とします。これで、ミラー完了後にシグナルを送るようになりました。手動でシグナル送出を試すには、~/bin/runmirrors および ~/bin/runmirrors volatile を実行します。</p>
+<p>etc/ftpsync.conf および etc/ftpsync-backports.conf の HUB 行のコメントを取り、「HUB=true」とします。これで、ミラー完了後にシグナルを送るようになりました。手動でシグナル送出を試すには、~/bin/runmirrors および ~/bin/runmirrors backports を実行します。</p>
<h3>CDN に加盟する</h3>
Modified: www/trunk/src/using/mirror.tt2
===================================================================
--- www/trunk/src/using/mirror.tt2 2012-12-13 03:58:00 UTC (rev 1338)
+++ www/trunk/src/using/mirror.tt2 2012-12-13 05:00:43 UTC (rev 1339)
@@ -31,7 +31,7 @@
</pre>
<p>ftp.jp.debian.org は、WIDE Project 様、HANZUBON.jp 様、北陸先端科学技術大学院大学 樣、株式会社 fonfun 様、地球流体電脳倶楽部 様、OYU-NET.JP 様の協力で運用されています。</p>
- <p>CDN ミラーへの参加については、<a href="http://www.debian.or.jp/community/push-mirror.html";>CDN 対応ミラーの設定</a>を参照してください。</p>
+ <p>CDN ミラーへの参加については、<a href="../community/push-mirror.html">CDN 対応ミラーの設定</a>を参照してください。</p>
<hr>
<h3><a id="nearestmirror" name="nearestmirror">データ転送速度が高いかもしれないサーバ (近くのミラーサイト) を自動的に探すには</a></h3>