皆さま
杉本です。
大枠のsalsaへの移行作業が完了し、細かいリンク切れの対処や gitlab CIのファイルサイズ制約と戦っているところです。
作業の内容が細かくなってきましたので、 遅ればせながら以下のwikiページにまとめを書き始めました。
https://wiki.debian.org/tokyodebian_salsa_migrate
gitリポジトリの構造の解説や行っている作業をを書いています。
それでは。
On Mon, 9 Apr 2018 13:11:38 +0000 SUGIMOTO Norimitsu dictoss@live.jp wrote:
皆さま
杉本です。
ひとまず、salsaへmonthly-report.gitを移してみました。
https://salsa.debian.org/tokyodebian-team/monthly-report https://salsa.debian.org/tokyodebian-team/pdf
PDFファイルは以下などのURLで公開できています。 https://tokyodebian-team.pages.debian.net/pdf/debianmeetingresume201803.pdf
しかし、長年の勉強会の成果でPDFファイル数が多すぎるせいか、 すべてのPDFファイルをgitlab pagesで公開しようとすると CI/CDの"Jobs"処理または"Pipelines"処理で失敗します。 （現在は、過去5年分のみのpdfファイルをpagesで公開するようにして jobを成功させています）
[Jobの失敗] https://salsa.debian.org/tokyodebian-team/pdf/-/jobs/11633
ERROR: Uploading artifacts to coordinator... too large archive id=11633 responseStatus=413 Request Entity Too Large status=413 Request Entity Too Large token=5ydbgD39
[Jobは成功するが、Pipelineで失敗する] https://salsa.debian.org/tokyodebian-team/pdf/pipelines/3900/builds
どうも、gitlabのadmin areaという設定でファイルサイズの上限値を 増やせそうな感じですが、salsaの管理者に依頼する必要がありそうです。
[Gitlba CI. Uploading large artifacts is failed.] https://gitlab.com/gitlab-org/gitlab-ce/issues/14841
上限値を増やさない前提ですと、
・古いPDFファイルはarchive扱いで他のサーバで公開する ・自分でビルドしてもらう
とする必要があるかもしれません。
それでは。
On Wed, 28 Mar 2018 15:06:18 +0000 SUGIMOTO Norimitsu dictoss@live.jp wrote:
みなさま
杉本です。
"monthly-report.git"のsalsa移転の件です。
吉野さんと話をしまして、以下の方針で進める予定です。
・salsaに、以下のように2つのprojectをつくる。
https://salsa.debian.org/tokyodebian-team/monthly-report/ https://salsa.debian.org/tokyodebian-team/pdf/
・https://salsa.debian.org/tokyodebian-team/monthly-report/ は 現在と同様にtexの編集とコミットを行う。 なお、PDFファイルのビルドはgitlab CIで行わず、 今まで通り作業する人のPCでビルドする。
・https://salsa.debian.org/tokyodebian-team/monthly-report/ の publishの処理で、 https://salsa.debian.org/tokyodebian-team/pdf/ へ ビルドしたpdfファイルをコミットする。
・https://salsa.debian.org/tokyodebian-team/pdf/ の gitに入っているPDFファイルをgitlab pagesで公開する。
→ https://tokyodebian-team.pages.debian.net/pdf/file.pdf となる。
こうすると今のaliothに置いているPDFファイルのパスと 同じディレクトリ構造になります。 aliothからのリダイレクトが始まるとインターネットにある 過去のリンクへいくとsalsaへ転送されてファイルにたどり着ける、 と思っています。
それでは。
On Wed, 21 Mar 2018 07:46:21 +0000 SUGIMOTO Norimitsu dictoss@live.jp wrote:
皆さま
杉本です。
ひとまず、東京エリアDebian勉強会のwebサイトの コード(muse.git)を、salsaへ中身をそのまま移してみました。
旧） https://tokyodebian.alioth.debian.org/ ↓ 新） https://tokyodebian-team.pages.debian.net/ gitlabのページ: https://salsa.debian.org/tokyodebian-team/tokyodebian-team.pages.debian.net
gitlab CIでhtmlをビルドするようにしています。 htmlファイルの中のハイパーリンクが"alioth"のままに なっていますが、これは地道に直していきます。
ビルドに必要なパッケージは、emacs-nox elpa-muse程度ですので 耐えられるかなと思います。
ただ、勉強会資料のリポジトリ"monthly-report.git"は texのため、CIでtexをビルドするとなると、texliveをapt-getする 必要があります。
texを少なめにして試しにやってみましたが、
Need to get 1274 MB of archives.
とログが出て、apt-getでインストールするパッケージの大きさから CIサーバとしても回線としても負荷が大きすぎる感じです。
以下が策として思いつくところです。
- このままsalsaのCIサーバでビルドする （注意されそう）
- CIサーバを別に用意する （どこに用意したものか）
- debian wikiなど別の場所へPDFをPUTするようにする （PDFのビルドは今まで通り各人のPCで行う）
とりあえず、3の案ができるかアップロードスクリプトを作ってみます。
皆さま＞ 他にできそうな案があれば、知恵をお貸しください。
それでは。
On Thu, 1 Mar 2018 14:24:00 +0000 SUGIMOTO Norimitsu dictoss@live.jp wrote:
岩松さん
杉本です。
Host project web pages https://wiki.debian.org/Salsa/Doc#Host_project_web_pages
これで対応できると思います。
情報ありがとうございます。 静的ファイルを公開できる機能のようです。 （github.io相当の機能に見えます。）
CIでビルドしたファイルを"public"ディレクトリに置くと 配下にある静的ファイルをweb公開できるとのことです。
実際の処理を考えると、texの方はCIが動くdockerコンテナ？内で texをビルドすることになる、ってことのような気がします。
こんなイメージでしょうか。
$ cat .gitlab-ci.yml pages: script:
- mkdir .public
- apt-get install make texlive-latex-extra texlive-lang-japanese \
latex-beamer poppler-data python-pygments
- make
- cp -f *.pdf .public/
- mv .public public
artifacts: paths: - public only:
- master
texの全ファイルのビルドをCIでやってもサーバ負荷的に大丈夫なのか、 というところは気になります。 （gnomeやlibreofficeなどのCIのビルドも似たようなものですけど）
うまく差分でビルドできるように直せれば、これでいけそうな 気はします。 （初回は全ビルドになってしまいますけど）
この方法でいくか、もう少し省エネな方法を考えるか、でしょうか。
それでは。
On Thu, 1 Mar 2018 12:07:06 +0900 Nobuhiro Iwamatsu iwamatsu@nigauri.org wrote:
こんにちは。岩松です。
2018年2月27日 23:40 SUGIMOTO Norimitsu dictoss@live.jp:
岩松さん
杉本です。
ご意見ありがとうございます。
> 吉野さんからどうしましょうという話がでていましたが、 > 特に着手はしておりませんでした。team 等はできているので、 > 移行ということで良いと思います。
5月までと期限が決まっていますので、吉野さんにも 協力をお願いできないか、聞いてみます。
移行作業は進めていこうと思います。
> コミットすることについては管理もできるようになるので、個人的には > 問題ないのですが、git clone 時のサイズが大きくなるので、これに関しても > 対応する必要があると考えます。
リポジトリを肥大化させたくない、というのは 仰るとおりだと思います。 （特にPDFファイルを生成するmonthly-report.git）
対応策として3つの案を考えてみました。
- salsaでリポジトリに含めずに静的ファイルをホスティングする 別の手があるか
- 別サーバで静的ファイルをホスティングできるか （*.debian.org、*.debian.or.jp、ftp.jp.debian.orgあたりか）
- salsaにPDFファイル専用の別gitリポジトリを作り tex等のgitと分離して、pushする
現状の実現性からすると、3.の案が折衷案かなと思います。
Host project web pages https://wiki.debian.org/Salsa/Doc#Host_project_web_pages
これで対応できると思います。
みなさま＞ 他の案を思いつきましたら、返信ください。
よろしくお願いします。
岩松
On Tue, 27 Feb 2018 07:40:54 +0900 Nobuhiro Iwamatsu iwamatsu@nigauri.org wrote:
> こんにちは。岩松です。 > > 2018年2月25日 13:15 SUGIMOTO Norimitsu dictoss@live.jp: > > 皆さま > > > > 杉本です。 > > > > aliothにてサービスしているgitリポジトリとwebサイトを > > https://salsa.debian.org/ に移行する件です。 > > > > 勉強会資料は公開資料ですし、このMLで調整すればよいかなと > > 思い、書いています。 > > > > ご意見ください。 > > > > 1. aliothにあるgitリポジトリと現在の利用状況 > > > > https://anonscm.debian.org/gitweb/?p=tokyodebian/muse.git > > → https://tokyodebian.alioth.debian.org/ の > > webサイトの静的HTMLを生成するソースコード > > → 東京だけ利用している。（関西は関係なし） > > > > https://anonscm.debian.org/gitweb/?p=tokyodebian/monthly-report.git > > → 勉強会資料のtexファイル群を保持している > > → 東京、関西の両者が利用している。 > > > > > > 2. 移行対象と移行期限 > > > > https://anonscm.debian.org/gitweb/?p=tokyodebian/muse.git > > https://anonscm.debian.org/gitweb/?p=tokyodebian/monthly-report.git > > > > 両方salsa移す必要があると思っています。 > > > > https://wiki.debian.org/Teams/Publicity/Meetings/2018-02-15 > > 上記の会議で、"moving the repos to salsa (alioth EOL is end of May). " > > とあり、aliothは5月末で終わりですのでそれまでに移す必要があります。 > > > > > > 3. 移行先 > > > > salsa上に"tokyodebian-team" を作ってみました。 > > https://salsa.debian.org/tokyodebian-team > > > > この下にprojectを作って（=gitリポジトリ） > > muse.git、monthly-report.gitを移す案はどうか、と > > 思っています。 > > > > ※alioth上では"tokyodebian"という名前なので > > そのままにしてあります。 > > ※関西の方、ネーミングに異論があればご意見ください。 > > （別名でTeamをつくることになります） > > > > > > 4. 移行作業者 > > > > 【質問】どなたかすでにやっている方はいますか。 > > > 吉野さんからどうしましょうという話がでていましたが、 > 特に着手はしておりませんでした。team 等はできているので、 > 移行ということで良いと思います。 > > > > > 5. 問題点 > > > > 〇切り替え時期を決める > > > > ・muse.gitは東京だけの利用なので、東京側の運営メンバと相談して > > 進めていきます。 > > > > museを使ったWebページ作成はほとんど機能していないと思いますので、 > 他の方法、場所に移行させるのも良いと思います。 > > > ・monthly-report.gitは、東京、関西の両方がコミットしていますので > > タイミングを決める必要があります。 > > > > 3月か4月の勉強会終了後のコミットが一旦落ち着くタイミングで > > 切り替えるのがよいかと思っています。 > > > > > > 〇静的ファイルの置き場所 > > > > muse.gitはHTMLを、monthly-report.gitはPDFファイルを > > aliothへscpしてwebサーバの公開ディレクトリに保存することで > > webブラウザから見える仕組みになっています。 > > > > salsa(=gitlab)だとこの手が使えないですので、改修が必要です。 > > > > → gitlabにはpagesというhtmlの公開機能がありますので、 > > pagesへ移行するように直すという手がありそうです。 > > > > → monthly-report.gitでもpagesにビルドしたPDFファイルを > > コミットすることでwebで公開はできると思います。 > > （PDFというバイナリをコミットすることに抵抗ある人がいる？） > > > > コミットすることについては管理もできるようになるので、個人的には > 問題ないのですが、git clone 時のサイズが大きくなるので、これに関しても > 対応する必要があると考えます。 > > 岩松 > > > > -- > > SUGIMOTO Norimitsu dictoss@live.jp > > _______________________________________________ > > debian-devel mailing list > > debian-devel@debian.or.jp > > https://lists.debian.or.jp/mailman/listinfo/debian-devel > > > > -- > Nobuhiro Iwamatsu > iwamatsu at {nigauri.org / debian.org} > GPG ID: 40AD1FA6
-- SUGIMOTO Norimitsu dictoss@live.jp
-- Nobuhiro Iwamatsu iwamatsu at {nigauri.org / debian.org} GPG ID: 40AD1FA6
-- SUGIMOTO Norimitsu dictoss@live.jp _______________________________________________ debian-devel mailing list debian-devel@debian.or.jp https://lists.debian.or.jp/mailman/listinfo/debian-devel
-- SUGIMOTO Norimitsu dictoss@live.jp _______________________________________________ debian-devel mailing list debian-devel@debian.or.jp https://lists.debian.or.jp/mailman/listinfo/debian-devel
-- SUGIMOTO Norimitsu dictoss@live.jp _______________________________________________ debian-devel mailing list debian-devel@debian.or.jp https://lists.debian.or.jp/mailman/listinfo/debian-devel
-- SUGIMOTO Norimitsu dictoss@live.jp _______________________________________________ debian-devel mailing list debian-devel@debian.or.jp https://lists.debian.or.jp/mailman/listinfo/debian-devel