帮酷LOGO
  • 显示原文与译文双语对照的内容
The MVP text document to hold all data

  • 源代码名称:AI-metrics
  • 源代码网址:http://www.github.com/AI-metrics/AI-metrics
  • AI-metrics源代码文档
  • AI-metrics源代码下载
  • Git URL:
    git://www.github.com/AI-metrics/AI-metrics.git
  • Git Clone代码到本地:
    git clone http://www.github.com/AI-metrics/AI-metrics
  • Subversion代码到本地:
    $ svn co --depth empty http://www.github.com/AI-metrics/AI-metrics
    Checked out revision 1.
    $ cd repo
    $ svn up trunk
  • 测量人工智能研究进展

    这个存储库包含一个笔记本,你可以在 https://eff.org/ai/metrics 看到它。 它从人工智能和机器学习文献中收集问题和度量数据集,并跟踪它们的进度。 你可以以用它来查看特定子域或者 ai/on的发展情况,作为报告新结果的地方,或者者为数据。

    我们也感兴趣收集这些数据来理解AI的可以能含义,但首先我们重点集中于收集它。

    原始作者:EckersleyYomna Nasser at 。

    With: Gennie GebhartOwain Evans 。
    通过以下方式来激励和合并数据:

    如何对这里笔记本作出贡献

    本笔记本是一个开源的社区工作。 你可以通过向它添加新的度量。数据和问题来帮助你 ! 如果你觉得雄心勃勃,你也可以改进它的语义或者建立新的分析。 下面是一些关于如何做的高级技巧。

    如果你喜欢git和Jupyter笔记本,或者喜欢学习

    如果你已经对 git 和 ipython/jupyter笔记本电脑工作过,下面列出了你需要做的事情的一个快速列表:

    安装 Jupyter笔记本git 。

    • 在Ubuntu或者Debian系统上,你可以执行以下操作:
      sudo apt-get install git
      sudo apt-get install ipython-notebook || sudo apt-get install jupyter-notebook || sudo apt-get install python-notebook
    • 确保你有IPython版本 3或者更高版本。 如果操作系统没有提供它,你可能需要启用 backports,或者使用 pip 来安装它。

    安装这里 python的笔记本依赖项:

    • 在Ubuntu或者Debian上,执行以下操作:
       sudo apt-get install python-{cssselect,lxml,matplotlib{,-venn},numpy,requests,seaborn}
    • 在其他系统上,使用本机操作系统包,或者使用 pip:
       pip install cssselect lxml matplotlib{,-venn} numpy requests seaborn

    fork 在github上的repo: https://github.com/AI-metrics/AI-metrics#fork-destination-box

    克隆你的计算机上的,然后将 cd 复制到它正在使用的目录

    配置你的git副本以使用 IPython笔记本合并过滤器在多个人同时编辑笔记本时避免冲突。 你可以在克隆的repo 中使用这两个命令:

    git config --file. gitconfig filter.clean_ipynb.clean $PWD/ipynb_drop_output
    git config --file. gitconfig filter.clean_ipynb.smudge cat

    在项目目录( 命令可以是 ipython notebookjupyter-notebookjupyter-notebook 或者 python notebook,具体取决于你的系统) 中运行 Jupyter Notebok,然后转到 localhost:8888,并编辑笔记本 AI-progress-metrics.ipynb 到你的心目录

    保存并提交你的工作( git commit -a -m"DESCRIPTION OF WHAT YOU CHANGED" )

    将它推送到你的远程 repo

    向我们发送请求请求 !

    2如果你想要非常简单

    微软Azure有一个可以让你从服务器上运行和修改笔记本的ipython/jupyter服务。 你可以克隆这里笔记本并通过它的服务使用它: https://notebooks.azure.com/EFForg/libraries/ai-progress 不幸的是,在Azure上运行笔记本有几个问题:

    • arXiv似乎阻止来自azure地址的请求,因此在运行笔记本时,不可能自动提取关于纸张的信息。
    • Azure笔记本服务似乎以奇怪的方式转换Unicode字符,创建额外的工作合并源代码

    导入数据的注释

    • 每个 .measure() 调用都是特定度量/数据集上特定算法的数据点。 因此,一篇论文经常会在多个指标。 尽管这些结果不是特别要求,但在发布日期或者在非特定问题的边界上,这是非常重要的,在发布时或者接近最佳性能边缘时输入结果是最重要的。
    • 当多个文档的多个修订版对某些指标具有相同的结果时,使用第一个版本的日期( CBTest结果in本文的结果)
    • 当后续修改改进原始结果( 示例 ),使用第一个结果的日期和分数,或者者每个修订是有趣的。
    • 尽可能为每个算法使用一个清晰的简短 NAME 或者缩写。 全文 NAME 可以在 papername 字段( 是为一些文件自动填充的) 中进行。 当matplotlib船ships我们也许能够得到漂亮的滚动,带有元数据的。 或者我们可以用 switch 来获得这种交互类型。

    :要处理的内容

    • 如果你知道还没有包含的ML数据集/度量,请将它们添加到
    • 如果有关于未包含度量的有趣结果的论文,请添加它们
    • 如果你知道人们可以以解决的重要问题,并且机器学习系统可以能还没有,我们可以以提出。
    • 看看我们的Github问题列表,也许从那些标记为良好志愿者任务的人开始。
    • 你还可以向venue-to-date映射表( 取消隐藏源代码并搜索 conference_dates ) 添加丢失的会议/日志:
    常见问题解答

    :这个项目的要点是什么? 它与eff的使命有什么关系?

    考虑到机器学习工具和AI技术在日常生活中的一部分,关键是记者。策略制造者和技术用户。 当不正确设计或者部署时,机器学习方法可以能违反隐私。威胁安全。永久不等。 利益相关者必须能够预测这些风险和策略问题,而不是在技术上遇到这些问题。 为这里,它是领域研究人员。工程师和开发人员的职责,有助于获得他们的生命变化研究。

    :为什么你不包括数据集X

    我们有很多人,这是个大任务。 如果你想添加更多的数据,请向我们发送一个拉请求的请求。

    :除了解决特殊任务的问题之外,你还会跟踪其他事情? 例如训练的速度和效率?

    不,但我们希望。 如果你是为了帮助组织这些数据,请登陆并改善笔记本。

    :你考虑过如何可视化这些数据,让它更易于访问

    我们考虑了各种各样的事情,但是我们决定for笔记本最终是最接近的。 如果你有任何想法,我们对可视化和可以访问性的建议非常开放,所以你可以自由地接触到 !

    另外,如果你想在这个项目之上构建可视化,那么我们使用的所有数据都可以以易于接受的JSON格式在 progress.json 中得到使用。 如果你这么做了,让我们知道,我们将尝试链接到它。

    :这是一个EFF项目

    是的,但是我们希望它能够成为一个支持组织联盟的自我支持社区工作。 我的主要任务是制作一些优秀的数据集,并在OpenAI和Humanity的未来,我们在编写文档的过程中,特别是与人类的productive 。 我们将努力保持的作者的第一部分是正确的笔记本,因为其他人继续使用。

    :人工智能什么时候会发生

    我们不是know--and这个项目并不是为了回答这个问题。 相反,我们有兴趣编译数据来指导基于人工智能和机器学习研究的艺术状态的会话。




    Copyright © 2011 HelpLib All rights reserved.    知识分享协议 京ICP备05059198号-3  |  如果智培  |  酷兔英语