[debian-devel 00160] Re: debian勉強会関連のgitをsalsaへ移行する

SUGIMOTO Norimitsu dictoss @ live.jp
2018年 4月 9日 (月) 22:11:38 JST


皆さま

杉本です。

ひとまず、salsaへmonthly-report.gitを移してみました。

https://salsa.debian.org/tokyodebian-team/monthly-report
https://salsa.debian.org/tokyodebian-team/pdf

PDFファイルは以下などのURLで公開できています。
https://tokyodebian-team.pages.debian.net/pdf/debianmeetingresume201803.pdf

しかし、長年の勉強会の成果でPDFファイル数が多すぎるせいか、
すべてのPDFファイルをgitlab pagesで公開しようとすると
CI/CDの"Jobs"処理または"Pipelines"処理で失敗します。
(現在は、過去5年分のみのpdfファイルをpagesで公開するようにして
  jobを成功させています)

[Jobの失敗]
https://salsa.debian.org/tokyodebian-team/pdf/-/jobs/11633
--------
ERROR: Uploading artifacts to coordinator... too large archive
id=11633 responseStatus=413 Request Entity Too Large
status=413 Request Entity Too Large token=5ydbgD39
--------

[Jobは成功するが、Pipelineで失敗する]
https://salsa.debian.org/tokyodebian-team/pdf/pipelines/3900/builds


どうも、gitlabのadmin areaという設定でファイルサイズの上限値を
増やせそうな感じですが、salsaの管理者に依頼する必要がありそうです。

[Gitlba CI. Uploading large artifacts is failed.]
https://gitlab.com/gitlab-org/gitlab-ce/issues/14841


上限値を増やさない前提ですと、

・古いPDFファイルはarchive扱いで他のサーバで公開する
・自分でビルドしてもらう

とする必要があるかもしれません。

それでは。

On Wed, 28 Mar 2018 15:06:18 +0000
SUGIMOTO Norimitsu <dictoss @ live.jp> wrote:

> みなさま
> 
> 杉本です。
> 
> "monthly-report.git"のsalsa移転の件です。
> 
> 吉野さんと話をしまして、以下の方針で進める予定です。
> 
> ・salsaに、以下のように2つのprojectをつくる。
> 
> https://salsa.debian.org/tokyodebian-team/monthly-report/
> https://salsa.debian.org/tokyodebian-team/pdf/
> 
>https://salsa.debian.org/tokyodebian-team/monthly-report/>   現在と同様にtexの編集とコミットを行う。
>   なお、PDFファイルのビルドはgitlab CIで行わず、
>   今まで通り作業する人のPCでビルドする。
> 
>https://salsa.debian.org/tokyodebian-team/monthly-report/>   publishの処理で、
>   https://salsa.debian.org/tokyodebian-team/pdf/>   ビルドしたpdfファイルをコミットする。
> 
>https://salsa.debian.org/tokyodebian-team/pdf/>   gitに入っているPDFファイルをgitlab pagesで公開する。
> 
>https://tokyodebian-team.pages.debian.net/pdf/file.pdf
>     となる。
> 
> こうすると今のaliothに置いているPDFファイルのパスと
> 同じディレクトリ構造になります。
> aliothからのリダイレクトが始まるとインターネットにある
> 過去のリンクへいくとsalsaへ転送されてファイルにたどり着ける、
> と思っています。
> 
> それでは。
> 
> 
> On Wed, 21 Mar 2018 07:46:21 +0000
> SUGIMOTO Norimitsu <dictoss @ live.jp> wrote:
> 
> > 皆さま
> > 
> > 杉本です。
> > 
> > ひとまず、東京エリアDebian勉強会のwebサイトの
> > コード(muse.git)を、salsaへ中身をそのまま移してみました。
> > 
> > 旧) https://tokyodebian.alioth.debian.org/
> >         ↓
> > 新) https://tokyodebian-team.pages.debian.net/
> >      gitlabのページ: 
> >      https://salsa.debian.org/tokyodebian-team/tokyodebian-team.pages.debian.net
> > 
> > gitlab CIでhtmlをビルドするようにしています。
> > htmlファイルの中のハイパーリンクが"alioth"のままに
> > なっていますが、これは地道に直していきます。
> > 
> > ビルドに必要なパッケージは、emacs-nox elpa-muse程度ですので
> > 耐えられるかなと思います。
> > 
> > ----
> > 
> > ただ、勉強会資料のリポジトリ"monthly-report.git"は
> > texのため、CIでtexをビルドするとなると、texliveをapt-getする
> > 必要があります。
> > 
> > texを少なめにして試しにやってみましたが、
> > 
> >   Need to get 1274 MB of archives.
> > 
> > とログが出て、apt-getでインストールするパッケージの大きさから
> > CIサーバとしても回線としても負荷が大きすぎる感じです。
> > 
> > 以下が策として思いつくところです。
> > 
> > 1. このままsalsaのCIサーバでビルドする
> >    (注意されそう)
> > 2. CIサーバを別に用意する
> >    (どこに用意したものか)
> > 3. debian wikiなど別の場所へPDFをPUTするようにする
> >    (PDFのビルドは今まで通り各人のPCで行う)
> > 
> > とりあえず、3の案ができるかアップロードスクリプトを作ってみます。
> > 
> > 皆さま>
> > 他にできそうな案があれば、知恵をお貸しください。
> > 
> > それでは。
> > 
> > On Thu, 1 Mar 2018 14:24:00 +0000
> > SUGIMOTO Norimitsu <dictoss @ live.jp> wrote:
> > 
> > > 岩松さん
> > > 
> > > 杉本です。
> > > 
> > > > Host project web pages
> > > > https://wiki.debian.org/Salsa/Doc#Host_project_web_pages
> > > > 
> > > > これで対応できると思います。
> > > 
> > > 情報ありがとうございます。
> > > 静的ファイルを公開できる機能のようです。
> > > (github.io相当の機能に見えます。)
> > > 
> > > CIでビルドしたファイルを"public"ディレクトリに置くと
> > > 配下にある静的ファイルをweb公開できるとのことです。
> > > 
> > > 実際の処理を考えると、texの方はCIが動くdockerコンテナ?内で
> > > texをビルドすることになる、ってことのような気がします。
> > > 
> > > こんなイメージでしょうか。
> > > 
> > > $ cat .gitlab-ci.yml
> > > pages:
> > >   script:
> > >   - mkdir .public
> > >   - apt-get install make texlive-latex-extra texlive-lang-japanese \
> > > latex-beamer poppler-data python-pygments
> > >   - make
> > >   - cp -f *.pdf .public/
> > >   - mv .public public
> > >   artifacts:
> > >     paths:
> > >     - public
> > >   only:
> > >   - master
> > > 
> > > texの全ファイルのビルドをCIでやってもサーバ負荷的に大丈夫なのか、
> > > というところは気になります。
> > > (gnomeやlibreofficeなどのCIのビルドも似たようなものですけど)
> > > 
> > > うまく差分でビルドできるように直せれば、これでいけそうな
> > > 気はします。
> > > (初回は全ビルドになってしまいますけど)
> > > 
> > > この方法でいくか、もう少し省エネな方法を考えるか、でしょうか。
> > > 
> > > それでは。
> > > 
> > > On Thu, 1 Mar 2018 12:07:06 +0900
> > > Nobuhiro Iwamatsu <iwamatsu @ nigauri.org> wrote:
> > > 
> > > > こんにちは。岩松です。
> > > > 
> > > > 2018年2月27日 23:40 SUGIMOTO Norimitsu <dictoss @ live.jp>:
> > > > > 岩松さん
> > > > >
> > > > > 杉本です。
> > > > >
> > > > > ご意見ありがとうございます。
> > > > >
> > > > >> 吉野さんからどうしましょうという話がでていましたが、
> > > > >> 特に着手はしておりませんでした。team 等はできているので、
> > > > >> 移行ということで良いと思います。
> > > > >
> > > > > 5月までと期限が決まっていますので、吉野さんにも
> > > > > 協力をお願いできないか、聞いてみます。
> > > > >
> > > > > 移行作業は進めていこうと思います。
> > > > >
> > > > >> コミットすることについては管理もできるようになるので、個人的には
> > > > >> 問題ないのですが、git clone 時のサイズが大きくなるので、これに関しても
> > > > >> 対応する必要があると考えます。
> > > > >
> > > > > リポジトリを肥大化させたくない、というのは
> > > > > 仰るとおりだと思います。
> > > > > (特にPDFファイルを生成するmonthly-report.git)
> > > > >
> > > > > 対応策として3つの案を考えてみました。
> > > > >
> > > > > 1. salsaでリポジトリに含めずに静的ファイルをホスティングする
> > > > >    別の手があるか
> > > > > 2. 別サーバで静的ファイルをホスティングできるか
> > > > >    (*.debian.org、*.debian.or.jp、ftp.jp.debian.orgあたりか)
> > > > > 3. salsaにPDFファイル専用の別gitリポジトリを作り
> > > > >    tex等のgitと分離して、pushする
> > > > >
> > > > > 現状の実現性からすると、3.の案が折衷案かなと思います。
> > > > 
> > > > Host project web pages
> > > > https://wiki.debian.org/Salsa/Doc#Host_project_web_pages
> > > > 
> > > > これで対応できると思います。
> > > > 
> > > > >
> > > > > みなさま>  他の案を思いつきましたら、返信ください。
> > > > >
> > > > > よろしくお願いします。
> > > > 
> > > > 岩松
> > > > 
> > > > >
> > > > > On Tue, 27 Feb 2018 07:40:54 +0900
> > > > > Nobuhiro Iwamatsu <iwamatsu @ nigauri.org> wrote:
> > > > >
> > > > >> こんにちは。岩松です。
> > > > >>
> > > > >> 2018年2月25日 13:15 SUGIMOTO Norimitsu <dictoss @ live.jp>:
> > > > >> > 皆さま
> > > > >> >
> > > > >> > 杉本です。
> > > > >> >
> > > > >> > aliothにてサービスしているgitリポジトリとwebサイトを
> > > > >> > https://salsa.debian.org/ に移行する件です。
> > > > >> >
> > > > >> > 勉強会資料は公開資料ですし、このMLで調整すればよいかなと
> > > > >> > 思い、書いています。
> > > > >> >
> > > > >> > ご意見ください。
> > > > >> >
> > > > >> > 1. aliothにあるgitリポジトリと現在の利用状況
> > > > >> >
> > > > >> >   https://anonscm.debian.org/gitweb/?p=tokyodebian/muse.git
> > > > >> >     → https://tokyodebian.alioth.debian.org/> > > > >> >        webサイトの静的HTMLを生成するソースコード
> > > > >> >     → 東京だけ利用している。(関西は関係なし)
> > > > >> >
> > > > >> >   https://anonscm.debian.org/gitweb/?p=tokyodebian/monthly-report.git
> > > > >> >     → 勉強会資料のtexファイル群を保持している
> > > > >> >     → 東京、関西の両者が利用している。
> > > > >> >
> > > > >> >
> > > > >> > 2. 移行対象と移行期限
> > > > >> >
> > > > >> >   https://anonscm.debian.org/gitweb/?p=tokyodebian/muse.git
> > > > >> >   https://anonscm.debian.org/gitweb/?p=tokyodebian/monthly-report.git
> > > > >> >
> > > > >> >   両方salsa移す必要があると思っています。
> > > > >> >
> > > > >> >   https://wiki.debian.org/Teams/Publicity/Meetings/2018-02-15
> > > > >> >   上記の会議で、"moving the repos to salsa (alioth EOL is end of May). "
> > > > >> >   とあり、aliothは5月末で終わりですのでそれまでに移す必要があります。
> > > > >> >
> > > > >> >
> > > > >> > 3. 移行先
> > > > >> >
> > > > >> >   salsa上に"tokyodebian-team" を作ってみました。
> > > > >> >   https://salsa.debian.org/tokyodebian-team
> > > > >> >
> > > > >> >   この下にprojectを作って(=gitリポジトリ)
> > > > >> >   muse.git、monthly-report.gitを移す案はどうか、と
> > > > >> >   思っています。
> > > > >> >
> > > > >> >   ※alioth上では"tokyodebian"という名前なので
> > > > >> >     そのままにしてあります。
> > > > >> >   ※関西の方、ネーミングに異論があればご意見ください。
> > > > >> >     (別名でTeamをつくることになります)
> > > > >> >
> > > > >> >
> > > > >> > 4. 移行作業者
> > > > >> >
> > > > >> >   【質問】どなたかすでにやっている方はいますか。
> > > > >> >
> > > > >> 吉野さんからどうしましょうという話がでていましたが、
> > > > >> 特に着手はしておりませんでした。team 等はできているので、
> > > > >> 移行ということで良いと思います。
> > > > >>
> > > > >> >
> > > > >> > 5. 問題点
> > > > >> >
> > > > >> > 〇切り替え時期を決める
> > > > >> >
> > > > >> > ・muse.gitは東京だけの利用なので、東京側の運営メンバと相談して
> > > > >> >   進めていきます。
> > > > >> >
> > > > >>
> > > > >> museを使ったWebページ作成はほとんど機能していないと思いますので、
> > > > >> 他の方法、場所に移行させるのも良いと思います。
> > > > >>
> > > > >> > ・monthly-report.gitは、東京、関西の両方がコミットしていますので
> > > > >> >   タイミングを決める必要があります。
> > > > >> >
> > > > >> >   3月か4月の勉強会終了後のコミットが一旦落ち着くタイミングで
> > > > >> >   切り替えるのがよいかと思っています。
> > > > >> >
> > > > >> >
> > > > >> > 〇静的ファイルの置き場所
> > > > >> >
> > > > >> > muse.gitはHTMLを、monthly-report.gitはPDFファイルを
> > > > >> > aliothへscpしてwebサーバの公開ディレクトリに保存することで
> > > > >> > webブラウザから見える仕組みになっています。
> > > > >> >
> > > > >> > salsa(=gitlab)だとこの手が使えないですので、改修が必要です。
> > > > >> >
> > > > >> > → gitlabにはpagesというhtmlの公開機能がありますので、
> > > > >> >    pagesへ移行するように直すという手がありそうです。
> > > > >> >
> > > > >> > → monthly-report.gitでもpagesにビルドしたPDFファイルを
> > > > >> >    コミットすることでwebで公開はできると思います。
> > > > >> >    (PDFというバイナリをコミットすることに抵抗ある人がいる?)
> > > > >> >
> > > > >>
> > > > >> コミットすることについては管理もできるようになるので、個人的には
> > > > >> 問題ないのですが、git clone 時のサイズが大きくなるので、これに関しても
> > > > >> 対応する必要があると考えます。
> > > > >>
> > > > >> 岩松
> > > > >>
> > > > >>
> > > > >> > --
> > > > >> > SUGIMOTO Norimitsu <dictoss @ live.jp>
> > > > >> > _______________________________________________
> > > > >> > debian-devel mailing list
> > > > >> > debian-devel @ debian.or.jp
> > > > >> > https://lists.debian.or.jp/mailman/listinfo/debian-devel
> > > > >>
> > > > >>
> > > > >>
> > > > >> --
> > > > >> Nobuhiro Iwamatsu
> > > > >>    iwamatsu at {nigauri.org / debian.org}
> > > > >>    GPG ID: 40AD1FA6
> > > > >
> > > > >
> > > > > --
> > > > > SUGIMOTO Norimitsu <dictoss @ live.jp>
> > > > 
> > > > 
> > > > 
> > > > -- 
> > > > Nobuhiro Iwamatsu
> > > >    iwamatsu at {nigauri.org / debian.org}
> > > >    GPG ID: 40AD1FA6
> > > 
> > > 
> > > -- 
> > > SUGIMOTO Norimitsu <dictoss @ live.jp>
> > > _______________________________________________
> > > debian-devel mailing list
> > > debian-devel @ debian.or.jp
> > > https://lists.debian.or.jp/mailman/listinfo/debian-devel
> > 
> > 
> > -- 
> > SUGIMOTO Norimitsu <dictoss @ live.jp>
> > _______________________________________________
> > debian-devel mailing list
> > debian-devel @ debian.or.jp
> > https://lists.debian.or.jp/mailman/listinfo/debian-devel
> 
> 
> -- 
> SUGIMOTO Norimitsu <dictoss @ live.jp>
> _______________________________________________
> debian-devel mailing list
> debian-devel @ debian.or.jp
> https://lists.debian.or.jp/mailman/listinfo/debian-devel


-- 
SUGIMOTO Norimitsu <dictoss @ live.jp>


debian-devel メーリングリストの案内